KI-Empfehlungen ändern sich täglich: 84 Prozent der Antworten waren am nächsten Tag anders
We asked AI the same 210 buying questions 2 days in a row,84% of answers changed
Supercite stellte 210 Kaufentscheidungsfragen an ChatGPT, Gemini, Google AI Overviews und Google AI Mode – an zwei aufeinanderfolgenden Tagen. 84 Prozent der Antworten nannten am zweiten Tag andere Marken, bei Gemini sogar 95 Prozent. 27 Prozent der zunächst genannten Marken verschwanden. Nur 42 Prozent der zitierten Seiten blieben gleich. Die Studie zeigt: KI-Antworten sind keine festen Rankings, sondern täglich neu zusammengestellte Zusammenfassungen wechselnder Webseiten.
Nichts an den CRMs hatte sich über Nacht geändert. Was sich änderte, waren die Seiten, die die Engine zufällig las. Tausche die Seiten aus, und du tauschst die Antwort aus.
- ryanisnan
Ich denke nicht, dass das an sich überraschend ist.
Wenn man sich die Fragen ansieht, die sie gestellt haben, sind sie ziemlich breit gefasst. Meiner Erfahrung nach kommt ein Teil des Werts von LLMs aus ihrer Zufälligkeit, aber man muss das als eine charakteristische Tugend dieser Werkzeuge verstehen und sich entsprechend anpassen.
Fragen mit engem Fokus, klaren Einschränkungen und spezifischen Ergebnissen liefern meiner Meinung nach immer bessere Ergebnisse.
- mentalgear
Die Leute denken, "KI" habe alle Fakten, um objektive Entscheidungen zu treffen, aber es scheint letztlich darauf hinauszulaufen (wieder SEO?), welche Seiten ihre Suchmaschine an diesem Tag zurückgegeben hat.
> Wenn du kein Leader bist, ist das der Punkt, der zählt. Deine Sichtbarkeit hängt davon ab, welche Seiten die Engine an diesem Tag liest. Der Weg, das stabil zu machen, ist, auf mehr dieser Seiten präsent zu sein.
Letztlich braucht man einen echten Fakten-Wissensgraphen, unabhängig von Erwähnungen.
- hnlmorg
Alles, was du beweist, ist, dass jede spezifische Domäne ein Dutzend ausgereifter Lösungen haben wird.
Was ein Produkt von einem anderen unterscheidet, werden die projektspezifischen Einschränkungen sein, in die du es integrierst. Und nichts davon ist in deinen Prompts definiert. Also bittest du effektiv ein LLM, zu würfeln und zufällig etwas auszuwählen, und tust dann überrascht, dass jedes Mal eine andere Antwort kommt.
Edit: Ihre Schlussfolgerungen am Ende des Artikels verfehlen den wichtigsten Punkt. Sie sprechen davon, mehrmals über mehrere Tage hinweg zu fragen, aber das wiederholt nur den Zyklus "Garbage in -> Garbage out", ohne die Ursache des Problems anzugehen: die Anforderungen nicht richtig zu definieren.
Und wenn du keine Anforderungen hast, die über "etwas Billiges" (zum Beispiel) hinausgehen, wen interessiert dann, welche Antwort du bekommst, wenn jedes Ergebnis für deinen Anwendungsfall gleichermaßen gültig ist.
- seabre
Wenn die Ausgabe von LLMs stochastisch ist, warum sollte man dann erwarten, dass sie sich bei Fragen, die keine festgelegten Antworten haben, nicht ändert?
- luisfominaya
Im Allgemeinen scheint es, dass LLMs ein grundlegendes Problem mit Rauschen in ihren Ausgaben haben, sodass Zufälligkeit (welche Daten sie abrufen und wie sie sie aggregieren) einen überproportionalen Einfluss hat, wenn man sie nach Meinungen/Empfehlungen/Prognosen fragt.