Ein Drittel der Perplexity-Zitate enthält nicht die Zahl, für die es zitiert wird
A third of Perplexity's citations don't contain the number they're cited for
Ein Audit von 1.826 Zitaten, die Perplexitys Suchmodelle mit Zahlenaussagen verknüpften, ergab: 34,7 % verwiesen auf Seiten, die entweder nicht zugänglich waren oder keine einzige Zahl aus dem Satz enthielten. Pro Behauptung betrachtet scheiterten 14,4 % von 872 Behauptungen. Die Analyse von 310 Fragen zu 210 Technologieunternehmen zeigt, dass tote Links selten sind (1,3 %), aber 16,1 % der Zitate hinter Bezahlschranken oder Bot-Wänden liegen. Besonders häufig fehlerhaft sind Angaben zu CEOs und Hauptsitzen, während strukturierte Daten wie Gründungsjahr und Mitarbeiterzahl besser abschneiden. Die Studie unterstreicht, dass viele Zitate auf nicht archivierte Seiten verweisen – 25,1 % der URLs wurden nie im Wayback Machine erfasst.
Die Behauptung und das Zitat wurden vom selben Prozess erzeugt, und dieser Prozess ist keine Recherche.
- breakpointalpha
Dieser Artikel wirkt wie ein koordinierter Angriff auf Perplexity.
Ebenfalls heute gepostet wurde dieser HN-Thread:
https://news.ycombinator.com/item?id=49536375
Der diesen Link enthält:
https://trellner.com/reports/manufactured-sources-behind-ai-...
Der exakt dasselbe Layout und eine sehr ähnliche Über-Seite hat wie "trellner.com"
- nightpool
Ich weiß nicht einmal, ob ich diesem Beitrag widerspreche, aber das wirkt stark nach Astroturfing. Warum sind gerade zwei Anti-Perplexity-Artikel von unabhängigen Forschungsfirmen mit identischen Websites auf der Startseite von HN, eingereicht von derselben Person? Werde ich verrückt?
(siehe https://news.ycombinator.com/item?id=49536375, habe dort auch einen Kommentar hinterlassen)
- wrs
Dasselbe gilt für die "Zusammenfassungen" der Google-Suche, wo ich oft auf den angegebenen Link klicke und er die Aussage, die Google gemacht hat, nicht stützt.
Übrigens wäre dieser Beitrag überzeugender, wenn er nicht selbst im Claude-Stil geschrieben wäre!
- abdullahkhalids
Wenn du dein eigenes System baust, das korrekte Zitate erstellt, ist es dann das Richtige, der KI Zugriff auf ein deterministisches Werkzeug zu geben, das es ihr erlaubt, Teile der Dokumente, die sie liest, tatsächlich zu kopieren und einzufügen (mit Links), anstatt auf die stochastische Reproduktion, die sie standardmäßig macht?
- Gecko4072
Das ist mir persönlich aufgefallen. Ich sah ein Zitat mit einer Vorschau für Quelle A, von der ich wusste, dass sie zuverlässig ist. Ich habe nachgeprüft, und es verwies auf einen Reddit-Artikel und verschiedene andere weniger zuverlässige Quellen. Es war auch ein direktes Zitat, das es tatsächlich nicht war.