Google переписывает ссылки в выдаче на google.com/goto, чтобы усложнить скрейпинг

Я заподозрил неладное, когда они начали запутывать URL в своём собственном браузере, потом в своей выдаче, а теперь вот это...

Много лет мой фильтрующий прокси переписывал URL так, как упоминается в статье.

Почти ровно год назад Google перестал работать без JS. Я перестал пользоваться Google.

Теперь они повышают ставки, и, как признаёт статья (которая сама немного маркетинг), те, у кого есть ресурсы, всё ещё могут пробиться через эти препятствия, а те, у кого их нет, остаются за бортом.

Раз уж статья упоминает «AI-скрейперы», я просто отмечу, что это последняя пугалка, чтобы принудить людей отказаться от приватности, анонимности и (браузерной) свободы открытого совместимого интернета.

Я проходил собеседование в Google около 20 лет назад, и там была задача, связанная с отслеживанием того, по каким именно результатам поиска кликают люди. Задним умом очевидно, что решение требовало переписать все URL так, чтобы они перенаправляли через их серверы. Заметьте, это было в те дни, когда они ещё не делали этого по умолчанию.

Я не смог продвинуться в решении этой задачи, потому что для меня сама идея делать такое была слишком отвратительной, чтобы всерьёз её рассматривать. Она нарушала негласный договор между компанией и ожиданиями пользователя о том, как работают сайты. Ты ожидаешь, что сможешь, например, кликнуть правой кнопкой по ссылке и скопировать настоящий URL или навести курсор и увидеть, куда она ведёт. Мысль о том, чтобы запутать ссылку до неузнаваемости и засорить её трекинговыми метками, казалась вводящей в заблуждение и, что ж, злой. Шаг, который в основном принёс бы пользу только Google, а не его пользователям. Я (весьма ошибочно) полагал, что это мнение будет очевидным и само собой разумеющимся для любого, кто провёл достаточно времени в раннем вебе, чтобы понимать его нормы.

Я исследовал другие способы достижения цели, но явно не это было тем ответом, который искал интервьюер.

Сейчас я более опытен и достаточно повидал, чтобы уверенно сказать: подход был неправильным. Это может показаться мелочью, но череда ошибок и хроническая неспособность должным образом отстаивать интересы пользователей привели нас к той токсичной свалке, которой стала сегодня большая часть интернета.

Я очень рад, что появились свежие альтернативы (вроде […]

Пока многих волнует производительность локальных моделей, мне интересно, насколько сейчас осуществим локальный индексированный веб-поиск? Уж наверняка можно запустить Google старой школы на мощных ИИ-машинах сегодня. Я понимаю, что проблема будет в краулинге, который упрётся в пропускную способность провайдера, но я использую Google для поиска по SO, Wikipedia, документации языков программирования, issues на Github и документации AWS. Думаю, осуществимый рабочий процесс — собрать набор сайтов, наиболее интересных лично тебе, и затем отдавать им приоритет при краулинге.

Пока я это печатал, я вспомнил про https://en.wikipedia.org/wiki/Google_Search_Appliance — я сам им никогда не пользовался, но он показывает осуществимость идеи. Я почти уверен, что один из недавно анонсированных MacBook более чем способен справиться с задачей, сопоставимой с предложением GSA.

Прямые URL в результатах поиска Google были заменены на редирект-URL вида www.google.com/goto?url=<непрозрачная base64-строка>.

Данные base64, судя по всему, представляют собой очень простую структуру protobuf, содержащую длинную строку байтов в поле 2, которые, предположительно, идентифицируют URL.

Иногда такие редирект-URL загружаются ощутимо долго, что очень раздражает.

Когда несколько месяцев назад Google прекратил платный API-поиск, я искал альтернативу для своих агентов, которая, как мне казалось, была бы устойчивой (одноразовая настройка, а дальше — из головы вон). Я быстро исключил SERP, так как боялся, что Google провернёт именно такую махинацию, чтобы отрезать их.

Я как-то нашёл Mojeek и остановился на нём. Я никогда о них не слышал. В отличие от Kagi, их бизнес-модель — реклама (так что особой моральной высоты они не занимают). Но у них есть дешёвый, работающий платный API.

Что меня поразило — это качество результатов. Для моих задач оно неотличимо от Google. Обычно считается, что веб-поиск — это проблема масштаба Google. Как эти малоизвестные британцы это провернули?

Так почему мы из-за этого злимся? Я имею в виду, конечный результат для пользователей абсолютно тот же, это важно только для ботов.

У Google такая (заслуженная) плохая репутация, что что бы они ни делали, люди предполагают, что это эншитификация. Я не верю, что в этом случае это так.

Я пользуюсь DuckDuckGo уже много лет, с тех пор как стало заметно, что два разных человека, ищущих один и тот же запрос, получают от Google два разных результата. То есть они перестали быть полностью надёжными: одному человеку они могли показать результат, который от другого скрывают, закопав его на третьей странице, куда почти никто не заглядывает.

Результаты поиска DDG в последнее время стали хуже, чем раньше — я часто вижу совершенно не относящиеся к делу результаты (до такой степени, что говорю: «С какой стати это вообще вернулось как результат поиска??!?»), начиная уже со второй страницы. И всё же я продолжаю ими пользоваться, просто потому что это не Google.

На данный момент мы все можем просто забить на SEO [0]. Мы пишем контент для робота, который скрывает источник информации.

[0]: https://news.ycombinator.com/item?id=49665572

Печально, что вместо поиска того, что выложили другие люди, мы, по сути, просим оракула Сэма или Дарио сказать нам правду. Люди должны быть в ярости. Но мы интернализировали идею, что они почему-то лучше.