El 59,8% de las fuentes que cita Perplexity son webs irrelevantes
Three sites made 215,128 "best software" pages for AI. Perplexity cites them
Un análisis de 7.534 citas de Perplexity en 380 categorías de software revela que el 59,8% apuntan a dominios con un ranking Tranco peor que el puesto 100.000, y el 23,4% ni siquiera están en el top millón. Tres sitios bajo aparente control común han publicado 215.128 páginas generadas automáticamente de 'mejor software', y son citadas con frecuencia. El blog de marketing de un proveedor, Guideflow, es la tercera fuente más citada, por delante de Gartner. El informe también detecta páginas con el título 'Facts & Grounding Page', dirigidas a los rastreadores de IA, y un 1,1% de recomendaciones apuntan a dominios muertos o inalcanzables.
Estas páginas están dirigidas, en sus títulos y descripciones, al software que las lee.
- xpct
Si mal no recuerdo, hubo algunos artículos que sugerían que los LLM favorecen pasajes generados por LLM sobre los escritos por humanos. Puedo reproducir esto consistentemente pidiéndole a Claude qué fragmento de código prefiere: el que generó en otro chat, o uno que refactoricé para mis propias necesidades y encuentro más útil. Siempre elige el suyo :) También he experimentado que tanto Claude como Codex incluyen habitualmente sitios web generados cuando les pido que busquen algo. Tampoco ayuda que las herramientas de búsqueda web que OAI y Anthropic tienen sean profundamente limitadas: no pueden excluir palabras clave o dominios.
- mstaoru
Bueno, no es solo esto, o la protección contra que los LLM se entrenen con salida de LLM. Que los LLM se entrenen con salida humana también es problemático.
Estaba viajando a un pequeño pueblo oscuro, haciendo algo de "investigación" con LLMs de antemano. Cada uno me dijo entusiasmado que fuera a la "plaza Foobar" (nombre cambiado) por la "mejor comida callejera en el pueblo XYZ", algunos añadieron muchos detalles coloridos.
No había ninguna plaza Foobar en el pueblo XYZ. No había ninguna plaza Foobar en ningún lugar del mundo. Había UN SOLO comentario antiguo de Reddit, sin votos positivos, en una publicación impopular en un subreddit impopular, donde alguien claramente deletreó mal el nombre de la plaza, y dijo algo como "para comida callejera ve a la plaza Foobar". Ni siquiera mencionaba "la mejor".
Es todo una mentira.
- Aurornis
Usé una de las ofertas gratuitas de 12 meses de Perplexity cuando estaban por todas partes. Al principio me pareció ligeramente útil para consultas simples donde no quería revisar manualmente los 10 mejores resultados de Google. Si buscaba una receta específica que recordaba o una página de ayuda o un manual de usuario, normalmente lo encontraba rápido.
Luego empezaron a optimizar la velocidad de respuesta sobre la calidad de los resultados. Puedo ingresar una consulta y ver mis resultados aparecer en un segundo, pero son basura. Los enlaces y referencias que da frecuentemente no coinciden con el texto que está justo al lado. Se siente como si alguien tuviera un KPI para hacer las respuestas lo más rápido posible y optimizaran eso por encima de todo.
Añadieron una opción "Computer" que se supone que investiga por ti. La mitad de las veces no puedo hacer que se active a través de la interfaz. Pulsar el botón de enviar no funciona. Cuando logro activarlo, la mayoría de esas sesiones funcionan por un tiempo y luego se detienen antes de que llegue una respuesta.
La única razón por la que sigo usándolo es para seguir observando a una empresa que ha sido fuertemente comercializada y promocionada, que debería haber tenido una posición líder en el mercado para algo. Incluso personas no técnicas que conozco y que escuchan a Joe Rogan (donde Perplexity está anunciando mucho, me han dicho) me preguntan al respecto.
Ahora hay informes de personas a las que se les cobra al final de su período de prueba sin previo aviso, a pesar de que dicen que avisarán antes de que esto suceda. Hay algunas capturas de pantalla alarmantemente malas de soporte al cliente donde el soporte al cliente [...]
- toddmorey
Creo que los modelos actualmente no tienen suficiente escepticismo hacia las fuentes.
Si observas los rastros de agentes cuando se les pide comparar dos opciones para ayudar a tomar una decisión, muchas de las páginas de comparación citadas en la investigación suelen estar alojadas por una de las empresas comparadas; casi todas son jugadas de AEO generadas por IA. No considerar profundamente el motivo de la información publicada es actualmente un fallo que puede ser explotado, pero la ventana se cerrará.
Estoy seguro de que los proveedores de modelos establecerán algún sistema de verificación de pago por juego para información de productos "confiable", comparaciones y reseñas.
- jpimbert
Es difícil leer más de unas pocas frases, cuando esto mismo es claramente un artefacto de Claude.
- alangibson
Perplexity está a punto de aprender que Google es primero una empresa anti-spam, y segundo un motor de búsqueda.
- rcar1046
"Compartir un par de servidores de nombres es una fuerte evidencia circunstancial de una cuenta común de Cloudflare, no una prueba de propiedad"
-cuando lees una declaración que te hace saber que no debes creer ninguna otra afirmación en el artículo....
- throwaway2037
Esto es genial. La singularidad de la IA/LLM ha llegado, y tiene forma de serpiente que se muerde la cola (ouroboros) [1] (o un pelícano montando una bicicleta).
[1] https://www.newsbiscuit.com/post/ouroboros-unclear-if-it-s-e...