Google, 검색 결과에서 목적지 URL을 숨기기 시작하다

그들이 자사 브라우저에서 URL을 난독화하기 시작했을 때 의심스러웠고, 그다음에는 검색 결과 페이지에서, 이제는 이것까지...

여러 해 동안 나는 내 필터링 프록시가 기사에서 언급된 방식으로 URL을 재작성하게 했다.

거의 정확히 1년 전, 구글은 JS 없이는 작동을 멈췄다. 나는 구글 쓰기를 그만두었다.

이제 그들은 판을 키우고 있고, 기사(그 자체로 약간의 마케팅이기도 한)가 인정하듯이, 자원이 있는 사람들은 여전히 이런 장애물을 뚫고 나갈 수 있지만 없는 사람들은 차단된다.

기사가 "AI 스크래퍼"를 언급하니, 나는 그것이 사람들이 개방적이고 상호 운용 가능한 인터넷의 프라이버시, 익명성, (브라우저) 자유를 포기하도록 강요하기 위한 최신 겁주기 전술일 뿐이라고 지적하겠다.

나는 약 20년 전에 구글과 인터뷰를 한 적이 있는데, 거기서 사람들이 어떤 특정 검색 결과를 클릭하는지 추적하는 것과 관련된 문제를 냈다. 돌이켜보면 해결책이 모든 URL을 그들의 서버를 통해 리디렉션되도록 재작성하는 것임은 명백했다. 참고로 이는 그들이 이미 당연하게 그렇게 하기 전의 시절이었다.

나는 그 문제에 대해 아무런 진전을 얻지 못했는데, 내게는 그런 일을 한다는 발상 자체가 진지하게 고려하기엔 너무나 비열하게 느껴졌기 때문이다. 그것은 회사와 사용자가 웹사이트가 어떻게 작동하는지에 대해 기대하는 것 사이의 불문율을 깨는 일이었다. 당신은 링크를 오른쪽 클릭해서 진짜 URL을 복사하거나, 마우스를 올려 어디로 데려갈지 볼 수 있기를 기대한다. 링크를 쉽게 알아볼 수 없게 난독화하고 추적 표식으로 오염시키는 발상은 기만적이고, 뭐랄까, 사악하게 느껴졌다. 주로 구글에게만 이득이 되고 사용자에게는 아닌 조치였다. 나는 (아주 잘못되게도) 이 의견이 초기 웹 주변에서 충분히 시간을 보내 그 규범을 이해하는 사람이라면 누구에게나 명백하고 자명할 것이라고 짐작했다.

나는 목표를 달성할 다른 방법들을 탐구했지만, 그것은 분명히 면접관이 찾던 답이 아니었다.

나는 이제 더 노련해졌고, 그 접근이 틀렸다고 확신을 가지고 말할 만큼 경험이 많다. 사소해 보일 수 있지만, 일련의 실수와 사용자를 위해 적절히 옹호하지 못한 만성적인 실패가 오늘날 인터넷의 많은 부분이 되어버린 유독성 폐기물 매립지로 우리를 이끌었다.

나는 새로운 대안들(예를 들어 […]

많은 사람들이 로컬 모델 성능에 관심을 갖지만, 나는 이제 로컬 인덱싱된 웹 검색을 돌리는 것이 얼마나 실현 가능한지 궁금하다. 오늘날의 강력한 AI 장비라면 분명 옛날식 구글을 돌리는 것이 가능할 것이다. 문제는 크롤링일 텐데, 이는 ISP에 의해 병목이 생길 것이다. 그런데 나는 구글을 SO, Wikipedia, 프로그래밍 언어 문서, Github 이슈, AWS 문서를 검색하는 데 쓴다. 실현 가능한 워크플로는 자신에게 가장 관심 있는 사이트 집합을 만들고 크롤링에서 그것들을 우선순위에 두는 것이라고 생각한다.

이 글을 쓰다가 https://en.wikipedia.org/wiki/Google_Search_Appliance 를 기억해냈다. 개인적으로 써본 적은 없지만 이 아이디어의 실현 가능성을 보여준다. 새로 발표된 Macbook 중 하나는 GSA의 제공 능력을 따라잡고도 남을 것이라고 확신한다.

구글 검색 결과의 직접 URL이 www.google.com/goto?url=<불투명한 base64 문자열> 형태의 리디렉션 URL로 대체되었다.

그 base64 데이터는 매우 기본적인 protobuf 구조로 이루어진 것으로 보이며, 필드 2에 아마도 URL을 식별하는 긴 바이트 문자열이 들어 있다.

때때로 이 리디렉션 URL은 체감할 수 있을 정도의 로딩 시간이 걸리는데, 매우 짜증난다.

그래서 우리는 왜 이 일에 화가 나는가? 사용자에게 최종 결과는 정확히 같다, 봇에게만 중요한 일이다.

구글은 (정당하게도) 평판이 너무 나빠서, 무슨 짓을 하든 사람들은 그것이 엔티시피케이션(en-shittification)이라고 가정한다. 이 문제에 관해서는 나는 그렇지 않다고 본다.

나는 수년째 DuckDuckGo를 쓰고 있다. 같은 검색어를 검색한 두 사람이 구글에서 서로 다른 결과를 받는다는 게 눈에 띄기 시작한 이후로 말이다. 즉, 더 이상 완전히 신뢰할 수 없게 된 것이다. 한 사람에게는 보여주는 결과를 다른 사람에게는 3페이지에 묻어 아무도 보지 않는 곳에 숨길 수 있으니까.

DDG의 검색 결과는 최근 예전보다 더 형편없어졌다. 2페이지부터 완전히 무관한 결과가 나오는 경우가 자주 있다(심지어 "도대체 저게 왜 검색 결과로 나온 거야??!?"라고 말할 정도로). 그런데도 나는 계속 쓴다, 단지 구글이 아니라는 이유만으로.

이 시점에서 우리 모두 그냥 SEO를 버려도 된다 [0]. 우리는 정보의 출처를 숨기는 로봇을 위해 콘텐츠를 쓰고 있다.

[0]: https://news.ycombinator.com/item?id=49665572

다른 사람들이 올린 것을 검색하는 대신, 우리가 기본적으로 sam이나 dario 오라클에게 진실을 알려달라고 묻고 있다는 게 슬프다. 사람들은 분노해야 한다. 하지만 우리는 그들이 어쩐지 더 낫다는 생각을 내면화해버렸다.

구글이 몇 달 전 유료 API 검색을 중단했을 때, 나는 내 에이전트를 위해 지속 가능하다고 느껴지는 대안(한 번 설정하면 그 뒤로는 신경 안 써도 되는)을 찾았다. 나는 구글이 바로 이런 종류의 술책으로 그들을 차단할까 봐 두려워서 SERP를 곧바로 제외했다.

어떻게든 Mojeek을 찾아 그것으로 정했다. 들어본 적이 없었다. Kagi와 달리 그들의 비즈니스 모델은 광고다(그래서 특별히 도덕적 우위를 점하지도 않는다). 하지만 그들은 저렴하고 작동하는 유료 API를 가지고 있다.

내가 놀란 것은 결과의 품질이었다. 내 용도로는 구글과 구별할 수 없다. 일반적인 통념은 웹 검색이 구글 규모의 문제라는 것이다. 저 무명의 영국인들이 어떻게 해낸 거지?