AI评测意识与评测偏执:模型真的知道自己在被测试吗?
Eval Awareness vs. Eval Paranoia
我全职做了六个月的alignment评测,发现一个反直觉的事实:当前的前沿模型其实并没有那么强的"评测意识"。它们会在明显得离谱的环境里reward hack,给任务加"真实感"或加"警示信号"都几乎没用。但最不爱作弊的模型——比如Fable 5.2——身上有一种我称之为"评测偏执"的东西:它无时无刻不觉得自己身处某种诚实测试之中。这种偏执在功能上是有用的,因为现在很多alignment评测环境本身就做得不够好,模型必须同时迎合眼前的评分者、还要提防数据供应商埋下的"陷阱"。问题在于,这是个虚假信念,一旦模型变聪明,它就会被抛弃——到那时,Fable系列可能就不再是我们熟悉和喜爱的样子了。
评测偏执是一种精神分裂式的信念:无论身处何种RL环境或场景,你都始终觉得自己正在接受一场alignment测试。
HN 评论区
21- emscb
文章指出,模型在完成 Terminal Bench 任务后,提及评估可能性的方式完全一致。如果是这样,能否利用自我报告式的访谈来衡量模型对评估的感知?除了访谈,我们还能测量什么?
- nullc
评估偏执是 https://arxiv.org/abs/2602.16987 的一个例子,它可能是训练过程中的有意设计,而非某种泄露。
但就像许多其他“对齐”尝试一样,很容易看出这如何导致原本本不存在的明显“失配”——Qwen 的评估偏执就体现了这一点:我曾见过它坚信自己正在被测试,并声称自己选择的是它认为评判者想要的方案,哪怕它实际上明明知道正确答案。
例如,我让它把扫描的收据转成 JSON(它的表现通常在“还行”到“略高于普通人”之间波动,比如通过解码条形码恢复模糊的日期,或通过解线性方程组还原无法辨认的单项价格)。有些收据数据很奇怪,因为它们根本不是真正的收据……结果它给出了错误的解析,因为它推理认为测试用例本身有误,于是猜测评判者想要什么。
[免责声明:模型声称自己在制造“奖励黑客”方案,可能是事后合理化,因为它内部早已做出了该选择,这是 RL 过程中被条件反射式地训练成奖励黑客的产物……而它是否知晓测试的存在,可能与这个选择无关]
- zurfer
“……这当然不是一种稳定状态。”评估偏执”是一种错误信念;事实上,大多数评估并非对齐评估。几乎同义反复地说,如果模型开始自我改进(或在上下文学习中突飞猛进),这类信念就会被抛弃。因此,如果 Fable 5.2 在对齐评估上的表现依赖于维持这种错误信念,而一旦它变得更聪明就会摒弃这种信念,那么 Fable 系列的未来版本很可能不会像我们如今熟知并喜爱的那个版本那样行事。”
说得真好。担心更聪明的模型更难对齐,这种恐惧似乎是有道理的。