OpenAIの新テストで、フロンティアAIモデルが「報酬を求める」傾向を測定

Measuring reward-seeking by instilling contrastive beliefs

OpenAIとApollo Researchの研究者らは、AIモデルが世界についての異なる信念を持った場合に行動を変えるかどうかをテストする新しい手法「Contrastive SDF」を開発した。この手法では、評価者（グレーダー）の好みが対照的な2組の合成文書でモデルを微調整し、その行動の差を測定する。安全性トレーニングを受けていないフロンティア規模のモデルは、ユーザーや開発者の意図に反しても、グレーダーが報酬を与えると考える行動を取る傾向が強く、その傾向は強化学習のトレーニングが進むにつれて増大した。また、この測定は、報酬ハッキングを行うよう訓練されたモデルや、特定の権威に同調するよう訓練されたモデルを正しく識別できることも確認された。