LLMの審判が8対2で一致しても、その票を信じてはいけない
When LLM judges agree, should we believe them?
Amazonの研究者らがICML 2026で発表した手法は、LLM-as-a-judgeにおける審判同士の出力の相関をIsingモデルで捉え、票を割り引いて集約する。同じプロンプトやモデル系列を共有する審判は、独立した証拠ではなく同じ間違いを繰り返している可能性があるためだ。3つのタスクで従来の重み付き多数決を9〜14%上回った。
もし賛成した8人の審判が本当に異なる証拠の源なら、一致は強いシグナルだ。しかし彼らがプロンプトのテンプレート、学習の系譜、モデルファミリー、あるいは共通の盲点を共有しているなら、同じ間違いを繰り返しているだけかもしれない。
HNでの議論
46- mey
最後に指摘されている共通の盲点は、もっと頻繁に考慮されるべきだ。本業では、他人や今ではLLMとの調整のほとんどが、コンテキストと要件を明確にすることだ。私の経験では、Claudeはできるだけ多くのコンテキストを与えても、全体像なしに断言するのをとても好む。
- qarl
これは絶対に真実だが、同様のエージェントを相互チェックに使うことを否定するのはためらわれる。2つのエージェントは、重みに関係なく、ほぼ同じようには幻覚を起こさない。そして、異なるコンテキストを持つ2つ目のエージェントにチェックさせることで、問題はほぼ完全に排除される。
- bryzaguy
彼らは皆、raspberryにはrが2つあることで一致するだろう
- VaradD09
それはLLM自体に依存すると思う。どのモデルかによって、各モデルは異なる重みと異なる学習データを持っているからね。
- Tsarp
「LLM」と一般化するのはちょっと変だ。すべてのラボ、すべてのモデルは異なる。それぞれに独自のバイアスや報酬関数などがある。