215.128 „Best Software“-Seiten: Perplexity stützt sich auf fragwürdige Quellen
Three sites made 215,128 "best software" pages for AI. Perplexity cites them
Eine Analyse von 7.534 Zitaten, die Perplexity bei Produktempfehlungen in 380 Software-Kategorien lieferte, zeigt: Fast 60 % verweisen auf Domains, die in der Tranco-Liste schlechter als Rang 100.000 abschneiden, 23,4 % sind gar nicht in den Top 1 Million. Drei offenbar zusammenhängende Websites haben 215.128 maschinell generierte „Best Software“-Seiten veröffentlicht und bezeichnen sich selbst als „Facts & Grounding Page“. Auch das Marketing-Blog eines Demo-Anbieters landet auf Platz drei der meistzitierten Quellen – vor Gartner.
Diese Seiten richten sich in ihren Titeln und Beschreibungen an die Software, die sie liest.
- xpct
Wenn ich mich richtig erinnere, gab es einige Paper, die nahelegten, dass LLMs LLM-generierte Passagen gegenüber menschlich geschriebenen bevorzugen. Ich kann das konsistent reproduzieren, indem ich Claude frage, welchen Code-Schnipsel es bevorzugt: den, den es in einem anderen Chat generiert hat, oder den, den ich für meine eigenen Bedürfnisse umgestaltet habe und nützlicher finde. Es wählt immer seinen eigenen :) Ich habe auch erlebt, dass sowohl Claude als auch Codex routinemäßig generierte Websites einbeziehen, wenn ich sie bitte, nach etwas zu suchen. Es hilft auch nicht, dass die Websuch-Tools, die OAI und Anthropic haben, stark einschränkend sind: Man kann keine Schlüsselwörter oder Domains ausschließen.
- mstaoru
Nun, es geht nicht nur darum oder um den Schutz davor, dass LLMs auf LLM-Ausgaben trainiert werden. Auch das Training von LLMs auf menschlichen Ausgaben ist problematisch.
Ich war auf dem Weg in eine obskure Kleinstadt und habe vorher etwas "Recherche" mit LLMs betrieben. Jedes einzelne hat mir begeistert geraten, zum "Foobar-Platz" (Name geändert) zu gehen, für das "beste Streetfood in XYZ-Stadt", einige fügten viele farbenfrohe Details hinzu.
Es gab keinen Foobar-Platz in XYZ-Stadt. Es gab keinen Foobar-Platz irgendwo auf der Welt. Es gab einen EINZIGEN alten Reddit-Kommentar, ohne Upvotes, zu einem unbeliebten Beitrag in einem unbeliebten Subreddit, in dem jemand den Namen des Platzes offensichtlich stark falsch geschrieben hatte und so etwas sagte wie "für Streetfood geh zum Foobar-Platz". Nichts über "das Beste" oder so.
Es ist alles eine Lüge.
- Aurornis
Ich habe eines der 12-Monate-kostenlosen Perplexity-Angebote genutzt, als sie überall waren. Am Anfang fühlte es sich etwas nützlich an für einfache Anfragen, bei denen ich nicht manuell die Top-10-Google-Ergebnisse durchgehen wollte. Wenn ich nach einem bestimmten Rezept suchte, an das ich mich erinnerte, oder nach einer Hilfeseite oder einem Benutzerhandbuch, fand es das normalerweise schnell.
Dann begannen sie, die Geschwindigkeit der Antworten über die Qualität der Ergebnisse zu optimieren. Ich kann eine Anfrage eingeben und meine Ergebnisse in einer Sekunde erscheinen sehen, aber sie sind Müll. Die Links und Referenzen, die es angibt, passen oft nicht zu dem Text direkt daneben. Es fühlt sich an, als hätte jemand ein KPI gehabt, um Antworten so schnell wie möglich zu machen, und sie haben das über alles andere optimiert.
Sie haben eine "Computer"-Option hinzugefügt, die angeblich Recherche für einen erledigen soll. Die Hälfte der Zeit kann ich sie nicht über die Benutzeroberfläche auslösen. Das Drücken der Senden-Schaltfläche funktioniert nicht. Wenn ich sie auslösen kann, funktionieren die meisten dieser Sitzungen eine Weile und stoppen dann einfach, bevor eine Antwort zurückkommt.
Der einzige Grund, warum ich es weiterhin benutze, ist, ein Unternehmen zu beobachten, das stark vermarktet und gehypt wurde und das eine marktführende Position für etwas hätte haben sollen. Sogar nicht-technische Leute, die ich kenne und die Joe Rogan hören (wo Perplexity stark Werbung schaltet, wie mir gesagt wurde), fragen mich danach.
Jetzt gibt es Berichte über Leute, die am Ende ihrer Testphase ohne Vorwarnung abgerechnet werden, obwohl sie gesagt haben, dass sie warnen würden, bevor das passiert. Es gibt einige alarmierend schlechte Kundensupport-Screenshots, bei denen der Kundensupport […]
- toddmorey
Ich denke schon, dass Modelle derzeit nicht genug Quellen-Skepsis haben.
Wenn man sich Agent-Traces ansieht, wenn sie gebeten werden, zwei Optionen zu vergleichen, um bei einer Entscheidung zu helfen, sind viele der in der Recherche zitierten Vergleichsseiten oft von einem der verglichenen Unternehmen gehostet; fast alle sind KI-generierte AEO-Plays. Die Motive veröffentlichter Informationen nicht tiefgehend zu berücksichtigen, ist derzeit ein Fehler, der ausgenutzt werden kann, aber das Fenster wird sich schließen.
Ich bin sicher, dass Modellanbieter ein mieses Pay-for-Play-Verifikationssystem für "vertrauenswürdige" Produktinformationen, Vergleiche und Bewertungen einrichten werden.
- jpimbert
Es ist schwierig, mehr als ein paar Sätze zu lesen, wenn dies selbst eindeutig ein Claude-Artefakt ist.
- alangibson
Perplexity wird gleich lernen, dass Google zuerst ein Anti-Spam-Unternehmen ist und erst dann eine Suchmaschine.
- rcar1046
"Das Teilen eines Nameserver-Paares ist ein starkes Indiz für ein gemeinsames Cloudflare-Konto, aber kein Beweis für das Eigentum"
– wenn man eine Aussage liest, die einem klar macht, dass man keiner anderen Behauptung in dem Artikel glauben sollte....
- throwaway2037
Das ist genial. Die KI/LLM-Singularität ist angekommen, und sie hat die Form einer Schlange, die sich in den eigenen Schwanz beißt (Ouroboros) [1] (oder eines Pelikans, der Fahrrad fährt).
[1] https://www.newsbiscuit.com/post/ouroboros-unclear-if-it-s-e...