LLMに「自信度」を聞くのはやめたほうがいい
Using LLM for confidence scoring is a bad idea
LLMは「0.85」のような確信度をそれらしく出力するが、これはモデル内部の測定値ではなく、単なるテキストの続きにすぎない。同じ質問でも聞き直せば数値は変わり、言い回しを変えれば動き、直前の文章に引きずられる。信頼できる確信度には、情報量を反映することと、実際の結果と照合して較正されていることの2つが必要だ。記事は、検索結果や回答の一致といった観測可能な情報からルールを組み、記録を蓄積して較正する代替手法を、天気予報の例えで丁寧に説明する。
「0.85」は会話の自然な続きではあっても、何かを測定した値ではない。
HNでの議論
43- madrox
私は統計学の学位を取ったのですが、当時覚えているのは、モデルを構築する方法を学ぶのに時間の10%くらいを使い、モデル出力を正しく解釈するのに90%を使ったということです。もちろん、私が統計学を学んだ時代には、それはほぼ専ら硬科学、金融、保険数理に応用されていました。機械学習の無法地帯はまだ始まっていませんでした。今は教え方が違うのか気になりますね。
何千万という規模のnを持つ大規模データセットを使い始めると、誤差の範囲が小さすぎて、実質的にある範囲の平均を見つけたのは確実だったので、あまり気にしなくなりました。しかし、その頃には信頼度スコアとは実際何なのか、そして掛け合わされたアルファがどれほど急速に膨れ上がるかを忘れてしまっているのだと思います。
- luisfominaya
入力にわずかな変化（質問を否定形にするなど）を与えてPolymarketのイベントを予測させることで、LLMの一貫性を調べました。
結果はこちらでご覧いただけます：https://noisebench.com/
- orbital-decay
もちろん、LLMには自分自身の自信についての潜在的な概念があり、それは無用なものではなく、それを明確に表現する能力も完全に備わっています。ただ、著者が選んだのは可能な限り最悪の聞き方だっただけです。何に対しても0〜100のスケールを使うのは、LLMにとっても人間にとっても悪いアイデアです。0〜100で評価する代わりに、問題を多くの次元/軸に分割し、それぞれに小さく意味のあるenumか、より粒度の粗い数値スケール（理想的には単なる二択）を与えましょう。そしてその結果に重み付きスコアリングを適用します。こうすると、モデルが自信を意味のある形で表現する能力がどれほど向上するかに驚くでしょう。
YouTubeが1〜5のスケールを廃止したのも同じ理由です。人々はそれをどう扱えばいいか全く分かっていません。
- Ozzie_osman
既存のモデルにドメイン固有の信頼度スコアをファインチューニングできることが分かりました。仕組みは、モデルがどのタイプの入力で正解しやすく、どのタイプで間違えやすいかを理解できるように手助けする、というものだと思います。これはモデルが学習できると期待して当然の、合理的なことのように思えます。
- visarga
私の言葉で言えば、キャリブレーションセットなしにモデルの信頼度をキャリブレーションすることはできません。信頼度はあるラベル付きデータセットに対して相対的なものであり、バケットや区間の集合上で確立され、母集団ベースのものであって、単一の予測に対して確認できるものではありません。ケースごとに割り当て、母集団ごとに検証するのです。
Jevの提示の仕方はずるいと思いました。「私たちがモデルをあなたのためにキャリブレーションしました」と言って、タスク固有のキャリブレーションセットを持つことを省くことはできません。彼らは私たちの未来のタスクをすべて知ることはできなかったのですから。