Warum LLMs keine verlässlichen Confidence-Scores liefern
Using LLM for confidence scoring is a bad idea
Viele Agenten-Designer lassen LLMs Confidence-Scores generieren – doch diese Zahl ist keine Messung, sondern nur eine plausible Textfortsetzung. Sie ändert sich bei erneuter Frage oder anderer Formulierung und wurde nie gegen tatsächliche Treffer kalibriert. Verlässliche Konfidenz entsteht stattdessen durch eine Regel, die beobachtbare Informationen wie Suchtreffer oder Antwortübereinstimmung mit aufgezeichneten Ergebnissen abgleicht und regelmäßig nachjustiert wird.
„0.85“ ist eine plausible Fortsetzung des Gesprächs. Es ist keine Messung von irgendetwas.
- madrox
Ich habe einen Abschluss in Statistik, und was ich aus dieser Zeit behalten habe, ist, dass wir vielleicht 10 % unserer Zeit damit verbracht haben, zu lernen, wie man das Modell baut, und 90 % damit, die Modellausgabe richtig zu interpretieren. Natürlich wurde die Statistik, die ich lernte, fast ausschließlich in den harten Wissenschaften, im Finanzwesen und in der Versicherungsmathematik angewendet. Der Wilde Westen des maschinellen Lernens hatte noch nicht begonnen. Ich frage mich, ob sie es heute anders lehren.
Als wir anfingen, große Datensätze zu verwenden, bei denen n in die Zehnmillionen ging, hörten wir irgendwie auf, uns darum zu kümmern, weil die Margen so klein waren, dass es praktisch sicher war, dass man den Mittelwert irgendeines Bereichs gefunden hatte. Allerdings glaube ich, dass wir in dieser Zeit vergessen, was Confidence-Scoring eigentlich ist und wie schnell sich ein multipliziertes Alpha aufblähen kann.
- luisfominaya
Ich habe untersucht, wie konsistent LLMs sind, indem ich sie gebeten habe, Ereignisse von Polymarket mit leichten Variationen in der Eingabe vorherzusagen, wie zum Beispiel die Frage zu verneinen.
Die Ergebnisse kannst du selbst hier sehen: https://noisebench.com/
- orbital-decay
Natürlich hat ein LLM ein latentes Konzept seiner eigenen Konfidenz, das intern konsistent ist, und ist durchaus in der Lage, es zu artikulieren; der Autor hat nur die schlechtestmögliche Art gewählt, danach zu fragen. Eine Skala von 0-100 für irgendetwas zu verwenden, ist sowohl bei LLMs als auch bei Menschen eine schlechte Idee. Anstatt es mit 0-100 zu bewerten, teile dein Problem in viele Dimensionen/Achsen auf und gib jeder ein kleines und aussagekräftiges Enum oder einfach eine weniger granulare numerische Skala (idealerweise einfach eine binäre Wahl). Dann wende eine gewichtete Bewertung auf das Ergebnis an. Du wirst überrascht sein, wie viel besser es auf diese Weise seine Konfidenz sinnvoll ausdrücken kann.
YouTube hat die 1-5-Skala aus demselben Grund entfernt: Die Leute haben keine Ahnung, was sie damit anfangen sollen.
- Ozzie_osman
Wir haben festgestellt, dass man Confidence-Scores für seine Domäne in bestehende Modelle fine-tunen kann. Ich denke, das funktioniert so, dass man dem Modell im Grunde hilft zu verstehen, welche Arten von Eingaben es tendenziell richtig und welche es tendenziell falsch macht. Das scheint eine vernünftige Sache zu sein, von der man erwarten würde, dass ein Modell sie lernen kann.
- visarga
Mit meinen eigenen Worten: Man kann die Konfidenz eines Modells nicht ohne ein Kalibrierungsset kalibrieren. Konfidenz ist relativ zu einem gelabelten Datensatz, sie wird auf einer Menge von Buckets oder Intervallen festgelegt und ist populationsbasiert, etwas, das man für eine einzelne Vorhersage nicht überprüfen kann. Weise pro Fall zu, verifiziere pro Population.
Ich fand die Art, wie Jev präsentiert wurde, hinterhältig – man kann nicht sagen „wir haben das Modell für euch kalibriert“ und dabei ein aufgabenspezifisches Kalibrierungsset weglassen. Sie konnten unmöglich alle unsere zukünftigen Aufgaben kennen.