Google переписывает ссылки в выдаче на google.com/goto, чтобы усложнить скрейпинг
Google no longer provides direct URLs in search results
Google Search больше не показывает прямые URL в HTML органической выдачи: ссылки ведут на google.com/goto?url=... с непрозрачным идентификатором вместо открытого адреса. Настоящий URL остаётся только в заголовке Location, и чтобы его узнать, нужен отдельный запрос к Google. С конца августа 2026 года это стабильно наблюдается для незалогиненных и приватных сессий. Для тех, кто строит поисковые индексы из SERP-данных, это заметно повышает стоимость и сложность сбора.
С `goto` каждый результат требует запроса обратно к Google только чтобы узнать пункт назначения. Вы читаете `Location`; вы не переходите на страницу. Это медленнее, шумнее и даёт Google чёткий сигнал, когда один и тот же клиент разрешает сотни ссылок подряд.