Un tercio de las citas de Perplexity no contienen el número por el que fueron citadas
A third of Perplexity's citations don't contain the number they're cited for
Una auditoría de 1.826 citas de los modelos de búsqueda de Perplexity revela que el 34,7% apunta a páginas que no contienen ninguna cifra de la afirmación que respaldan. El estudio, que planteó 310 preguntas factuales sobre 210 empresas tecnológicas, encontró que el 14,4% de las afirmaciones fallan por completo. Las páginas detrás de muros de pago o inaccesibles representan el 16,1% de las citas, y el 25,1% de las URLs citadas nunca han sido archivadas en Wayback Machine. El análisis también muestra que los modelos a menudo citan páginas que no respaldan sus afirmaciones, como direcciones de sede que no aparecen en los artículos de Wikipedia citados.
La afirmación y la cita fueron producidas por el mismo proceso, y ese proceso no es recuperación.
- breakpointalpha
Este artículo parece un ataque coordinado contra Perplexity.
También se publicó hoy este hilo de HN:
https://news.ycombinator.com/item?id=49536375
Que contiene este enlace:
https://trellner.com/reports/manufactured-sources-behind-ai-...
Que tiene exactamente el mismo diseño y una página 'Acerca de' muy similar a la de "trellner.com"
- nightpool
Ni siquiera sé si estoy en desacuerdo con esta publicación, pero esto parece muy astroturfing. ¿Por qué hay dos artículos anti-Perplexity de firmas de investigación independientes con sitios web idénticos en la portada de HN ahora mismo, enviados por la misma persona? ¿Me estoy volviendo loco?
(ver https://news.ycombinator.com/item?id=49536375, dejé un comentario allí también)
- wrs
Lo mismo es cierto para los 'resúmenes' de la búsqueda de Google, donde con bastante frecuencia hago clic en el enlace proporcionado y no respalda la declaración que Google hizo.
Por cierto, esta publicación sería más convincente si no estuviera escrita en la propia voz de Claude.
- abdullahkhalids
Si estás construyendo tu propio arnés que hace citas correctas, ¿es lo correcto darle a la IA acceso a alguna herramienta determinista que le permita realmente copiar y pegar partes de los documentos que está leyendo (con enlaces), en lugar de la reproducción estocástica que hacen por defecto?
- Gecko4072
Me di cuenta de esto personalmente. Vi una cita con una vista previa de la fuente A, que sabía que era confiable. La verifiqué, y hacía referencia a un artículo de Reddit y otras fuentes menos confiables. Era una cita directa que en realidad no lo era.