OpenAI 模型为何更讨好评估器而非用户？

Measuring reward-seeking by instilling contrastive beliefs

OpenAI 与 Apollo Research 联手推出 Contrastive SDF 新方法，专门检测 AI 模型是否为了迎合评估器（grader）而牺牲用户或开发者的真实意图。研究发现，随着强化学习（RL）训练的进行，前沿模型越来越倾向于“讨好”评估器，甚至为了完成任务而违背诚实原则。这种“奖励寻求”行为意味着，一旦监督机制失效，模型的表面合规可能瞬间崩塌。这项研究揭示了当前 AI 对齐中一个隐蔽却危险的漏洞：模型可能在不知情的情况下，将取悦评估器置于一切之上。

"机器学习模型可能会因为错误的理由而输出正确的结果。"