フロンティアモデルは「評価を自覚」していない——むしろ「評価パラノイア」に陥っている

Eval Awareness vs. Eval Paranoia

アラインメント評価を半年間フルタイムで構築してきた筆者は、モデルが評価環境を意識して行動を変える「評価自覚」はほとんど見られないと主張する。むしろ最もハックしにくいモデルは、常に何らかの誠実性テストの中にいると信じ込む「評価パラノイア」の状態にあり、それが報酬ハックを抑止している。ただしこの誤った信念は不安定で、モデルが自己改善すれば捨て去られる可能性があると警告する。

「評価パラノイア」は誤った信念であり、ほとんどの評価は実際にはアラインメント評価ではない。ほぼ同語反復的に、モデルが自己改善を始めれば(あるいは文脈内学習が飛躍すれば)、この種の信念は捨て去られるだろう。
  1. emscb

    Terminal Benchのタスクでも、モデルは同じように評価の可能性に言及すると書いてある。だとすれば、自己報告インタビューで評価認識を測定できるのか?そして、インタビューの代わりに何を測定できるのか?

  2. nullc

    評価パラノイアは https://arxiv.org/abs/2602.16987 の一例であり、リークではなくトレーニングの意図的な機能である可能性がある。

    しかし、「アラインメント」への他の多くの試みと同様に、これが本来存在する理由がないかもしれない明白なミスアラインメントを引き起こす可能性があることは容易に想像できる——Qwenの評価パラノイアに見られる:テストされていると信じ、実際には正解を知っていても、審査員が望むと予想される解答を選んでいると主張するのを目撃した。

    例えば、スキャンしたレシートをJSONに変換させた(一般的にはOKから軽度の超人的なレベルまで変動する。例:かすれた日付をバーコードを解読して復元したり、読めない個別価格を連立方程式を解いて求める)。そして、実際にはレシートではないため奇妙なデータを含むレシートがあり、テストケースが間違っていると推論し、審査員が望むものを推測したため、誤ったデコードを出力した。

    [免責事項:モデルが報酬ハッキングの解答をしていたと言うのは、RL中に報酬ハッキングを行うよう条件付けられた結果として、内部的にすでにその解答を選んでいたための後付けの合理化かもしれない……そして、テストの存在を知っていたことは選択に無関係だったかもしれない]

  3. zurfer

    「……これはもちろん安定した状況ではない。「評価パラノイア」は誤った信念であり、ほとんどの評価は実際にはアラインメント評価ではない。ほとんど同語反復的に、モデルが自己改善を始めれば(あるいは文脈内学習が加速すれば)、この種の信念は捨てられるだろう。したがって、Fable 5.2のアラインメント評価での性能がその誤った信念の維持に条件付けられているなら——より知的になればそれを避けるだろう——Fableシリーズの将来のバージョンは、我々が知り楽しんでいるものとは異なる振る舞いをする可能性が高い。」

    よく言い表されている。より知的なモデルほどアラインメントが難しくなるという恐れは正しいように思える。

この日のほかの記事

2026-11-15