Wenn LLM-Richter übereinstimmen, sollte man ihnen dann glauben?
When LLM judges agree, should we believe them?
Ein Amazon-Science-Team zeigt, warum zehn übereinstimmende LLM-Richter nicht zehn unabhängige Belege sind: Teilen sie Prompt-Vorlagen, Trainingslinien oder Modellfamilien, wiederholen sie womöglich denselben Fehler. Die vorgestellte Methode modelliert das Richtergremium als Netzwerk mit paarweisen Abhängigkeiten über ein Ising-Modell und trennt so unabhängige Evidenz von geteilten Irrtümern – ohne menschliche Referenzlabels. Auf ICML 2026 präsentiert, erzielt sie bei Relevanzklassifikation, Toxizitätserkennung und Zusammenfassungsbewertung mit Zehn-Richter-Panels 9 bis 14 Prozent mehr Genauigkeit als gewichtete Mehrheitsentscheidungen.
Wenn die acht zustimmenden Richter wirklich unterschiedliche Evidenzquellen sind, dann ist die Übereinstimmung ein starkes Signal. Teilen sie jedoch eine Prompt-Vorlage, eine Trainingslinie, eine Modellfamilie oder einen gemeinsamen blinden Fleck, wiederholen sie möglicherweise denselben Fehler.