Google 搜索不再直接提供结果链接
Google no longer provides direct URLs in search results
Google 正在悄悄改变搜索结果的呈现方式,不再在 HTML 中直接暴露目标 URL,而是将其重写为 google.com/goto?url=... 的重定向链接。这意味着,当用户点击搜索结果时,必须先经过 Google 的服务器跳转。这一变化显然是为了对抗 AI 爬虫和 SEO 抓取工具的大规模数据收割。过去,爬虫可以轻易从 HTML 中解析出成千上万个链接,而现在,每个链接的解析都需要向 Google 发起一次请求,这不仅增加了抓取成本,也让 Google 能更清晰地监控异常流量。对于依赖 SERP 数据构建索引的开发者来说,这一改动意味着需要调整策略,通过读取 Location 头来获取真实地址,而不是直接跟随重定向。
随着明文链接的消失,每个搜索结果都需要向 Google 发起一次请求才能获知目的地,这让抓取过程变得更慢、更嘈杂,并让 Google 能够清晰地捕捉到同一客户端连续解析数百个链接的信号。