Google oculta las URLs reales de sus resultados de búsqueda

Sospeché cuando empezaron a ofuscar las URLs en su propio navegador, luego en sus SERPs, y ahora esto...

Durante muchos años, tuve mi proxy de filtrado reescribiendo las URLs de la forma mencionada en el artículo.

Casi exactamente hace un año, Google dejó de funcionar sin JS. Dejé de usar Google.

Ahora están subiendo el nivel, y como admite el artículo (que es un poco marketing en sí mismo), quienes tienen los recursos todavía pueden atravesar estos obstáculos mientras que quienes no los tienen quedan fuera.

Ya que el artículo menciona a los "scrapers de IA", lo señalo como la última táctica de miedo para coaccionar a la gente a renunciar a la privacidad, el anonimato y la libertad (del navegador) de una Internet abierta e interoperable.

Hice una entrevista con Google hace unos 20 años, donde plantearon un desafío que implicaba rastrear qué resultados de búsqueda concretos clica la gente. En retrospectiva es obvio que la solución requería reescribir todas las URLs para redirigir a través de sus servidores. Nota: esto era en la época anterior a que ya lo hicieran de forma habitual.

No conseguí avanzar en el problema, porque para mí la sola idea de hacer algo así era demasiado reprensible como para considerarla seriamente. Rompía un contrato no escrito entre la empresa y la expectativa del usuario sobre cómo funcionaban los sitios web. Esperas poder hacer cosas como clicar con el botón derecho en un enlace y copiar la URL auténtica, o pasar el ratón para ver adónde te quiere llevar. La noción de ofuscar el enlace más allá del reconocimiento fácil y contaminarlo con marcadores de seguimiento me parecía engañosa y, bueno, malvada. Un movimiento que principalmente solo beneficiaría a Google, y no a sus usuarios. Yo (muy equivocadamente) presumí que esta opinión sería obvia y evidente para cualquiera que hubiera pasado suficiente tiempo en la web temprana como para entender sus normas.

Exploré otras formas de lograr el objetivo, pero claramente no era la respuesta que buscaba el entrevistador.

Ahora tengo más tablas, y suficiente experiencia para decir con confianza que el enfoque estaba mal. Puede parecer una cosa pequeña, pero una serie de tropiezos y un fracaso crónico a la hora de defender adecuadamente a los usuarios es lo que nos ha llevado al vertedero tóxico en que se ha convertido hoy buena parte de Internet.

Me alegra mucho tener alternativas frescas (como […]

Aunque mucha gente está preocupada por el rendimiento de los modelos locales, me pregunto qué tan factible es ahora ejecutar una búsqueda web indexada local. Seguro que ejecutar un Google a la antigua es posible con los potentes equipos de IA de hoy. Sé que el problema será el rastreo, que estaría limitado por el ISP, pero yo uso Google para buscar en SO, Wikipedia, documentación de lenguajes de programación, issues de Github y docs de AWS. Creo que un flujo de trabajo factible sería construir un conjunto de sitios que más te interesen y luego priorizarlos en el rastreo.

Mientras escribía esto me acordé de https://en.wikipedia.org/wiki/Google_Search_Appliance, que nunca usé personalmente pero que demuestra la viabilidad de la idea. Estoy bastante seguro de que uno de los Macbooks recién anunciados tiene más que suficiente para igualar la oferta de GSA.

Las URLs directas en los resultados de búsqueda de Google han sido reemplazadas por URLs de redirección con la forma www.google.com/goto?url=<cadena base64 opaca>.

Los datos en base64 parecen consistir en una estructura protobuf muy básica, que contiene una larga cadena de bytes en el campo 2 que presumiblemente identifica la URL.

A veces, estas URLs de redirección tardan una cantidad perceptible de tiempo en cargar, lo cual es muy irritante.

Cuando Google dejó la búsqueda de pago vía API hace unos meses, busqué una alternativa para mis agentes que sintiera sostenible (configuración única y luego olvidarme). Rápidamente descarté SERP porque temía que Google hiciera exactamente este tipo de jugarretas para cortarles el grifo.

De alguna manera encontré Mojeek y me quedé con él. Nunca había oído hablar de ellos. A diferencia de Kagi, su modelo de negocio son los anuncios (así que no tienen ninguna superioridad moral particular). Pero tienen una API de pago barata y funcional.

Lo que me asombró es la calidad de los resultados. Para mis usos, es indistinguible de Google. La sabiduría convencional dice que la búsqueda web es un problema del tamaño de Google. ¿Cómo lo lograron esos británicos oscuros?

Entonces, ¿por qué estamos enfadados por esto? Quiero decir, el resultado final para los usuarios es exactamente el mismo, solo importa para los bots.

Google tiene una reputación tan mala (justificada) que hagan lo que hagan, la gente asume que es mierdificación. No creo que lo sea en este asunto.

Llevo años usando DuckDuckGo, desde que se hizo evidente que dos personas distintas buscando el mismo término obtenían dos resultados diferentes de Google. Es decir, ya no eran del todo fiables: podían mostrar a una persona un resultado que ocultaban a otra enterrándolo en la página 3, donde casi nadie mira.

Los resultados de búsqueda de DDG han empeorado recientemente respecto a antes; a menudo veo resultados completamente irrelevantes (hasta el punto de decir "¿¡¿Por qué diablos ha salido eso como resultado de búsqueda??!?") a partir de la página 2. Y aun así, sigo usándolos, simplemente porque no son Google.

A estas alturas, todos podemos simplemente dejar el SEO [0]. Estamos escribiendo contenido para un robot que oculta la fuente de la información.

[0]: https://news.ycombinator.com/item?id=49665572

Es triste que, en lugar de buscar cosas que otras personas publican, básicamente le estemos pidiendo al oráculo Sam o Dario que nos diga la verdad. La gente debería estar furiosa. Pero hemos interiorizado la idea de que de algún modo son mejores.