65 KIs geben allen dieselbe Lebensberatung – und niemand merkt es
AI is giving everyone the same advice
Ein Experiment mit 65 KIs von 30 Anbietern und 127.918 Anfragen zeigt: Auf die Frage nach einem lebensverändernden Buch nannten 73 von 100 dasselbe Werk, nämlich „Man's Search for Meaning“. Beim Studium sagen 90 Prozent Informatik, bei 10.000 Dollar Anlage 98 Prozent Indexfonds. Wer nachfragt, bekommt nur innerhalb eines Chats Abwechslung – jeder neue Chat startet wieder beim Standard. Erfundene Personen sind zu 69 Prozent exakt 34 Jahre alt, und jede Firma hat ihre eigene Signatur: Claude erfindet Marisol, Gemini Elena.
In einem Chat wirkte jede KI originell. In neuen Chats gab jede KI dasselbe Buch.
- mannyv
KI tappt in die Suchfalle, in der alles deterministisch ist. Und das ergibt Sinn; bei einer Suche will man jedes Mal dieselbe Antwort.
Das kann man mit Personalisierung gewissermaßen abschalten. Aber auf einer gewissen Ebene ist deine Anfrage eine Murmel, die eine Reihe von Rampen hinunterrollt, und die großen Rampen sind die, die deine Murmel wahrscheinlich nimmt.
- BiraIgnacio
Vor langer Zeit habe ich Claude, ChatGPT und Gemini ausprobiert, um verschiedene Backrezepte zu erkunden.
Als ich nach der Verwendung von Süßungsmitteln fragte, sagten mir alle, dass eine bestimmte Art am besten funktioniert, wenn sie mit anderen Flüssigkeiten gemischt wird.
Mir fiel auf, dass sie alle praktisch denselben Satz verwendeten. Als ich nachfragte, warum, hatte keines der Modelle eine gute Erklärung.
Dann fand ich heraus, dass ein paar Websites genau dieselben Anweisungen gaben, ebenfalls ohne gute Erklärung dafür, warum.
Jedenfalls eine lange Geschichte, die mich sowohl amüsierte als auch erschreckte darüber, wie wenige Informationen so viel Gewicht in einem Modell haben können.
- q17
Das ist eigentlich ein ordentlicher Blogbeitrag, auch wenn er einige Anzeichen dafür aufweist, leicht von KI geschrieben zu sein.
Eine Sache, die mich interessieren würde, ist die Wirkung von top p, top k und Temperatur, denn diese sind die Ursache für jegliche Unterschiede zwischen Antworten auf identische Prompts.
- bigdict
Wenn du eine allgemeine Frage ohne Kontext stellst, bekommst du eine allgemeine "Maximum-Likelihood"-Antwort. Ist das überraschend?
- xg15
> Ich habe 65 KIs die Dinge gefragt, die Menschen ihnen täglich stellen
Und woher sollen die Modelle das wissen? Ich glaube nicht, dass die Labore so einfach Zugang zu ihren eigenen Nutzungsstatistiken herausgeben.