OpenAI 开启嵌入式评估:四家机构深度介入
First phase of embedded assessments at OpenAI
OpenAI 已与 Apollo Research、METR、Transluce 和 Goodfire 签署协议,正式启动首批嵌入式评估。面对 AI 能力的快速演进,我们允许这些独立评估者深入接触内部模型、源代码及监控系统,以验证模型对齐与安全机制的有效性。评估将聚焦于训练及内部使用阶段的潜在风险,包括模型是否可能暗中违背开发者意图。通过提供与研究人员同等的资源访问权限,我们旨在借助外部视角发现内部测试可能遗漏的失败模式。这一举措不仅履行了白宫《超级智能协定》的承诺,也致力于推动行业建立更透明的独立评估标准。
嵌入式评估让独立专家能够深入接触实验室的内部模型和系统,以长期评估模型对齐情况和安全措施的有效性。
HN 评论区
19- vessenes
我们正处在一个令人惊讶的叙事中:Anthropic 在全力推进,而 OpenAI 出于安全考虑正在放缓脚步。
这里有一个相当有趣的可能性矩阵,如果你考虑谁拥有更好的 mechanistic interpretability(机械可解释性),这是否实际上帮助了 alignment(对齐),以及内部关于资金和 IPO 的节奏是怎样的。
如果你认为你的安全问题关乎生存,那么你必须停下来,把这一切做好。而且,如果你认为别人的安全问题可能会突然、毫无预兆地让他们完蛋,那你就有时间慢下来,把事情做对。
如果让我选一家公司来掌舵,仅从外部视角来看,我现在会选 Anthropic。不过,我也能想到很多理由,说明在 IPO 前后作为快速追随者可能会让人更安心。总之,我很感兴趣看看未来几个月里会有哪些复盘,了解目前到底发生了什么,以及下一代 OpenAI 模型的质量如何。在此期间,我们很可能会看到其中一方逐渐拉开差距,而 OpenAI 很可能就是那一方。
- mentalgear
我们能不能直接用 'on-site' 这个词?它更清晰,而且没有 'embedded' 这个军事衍生词带来的包袱。
- petesergeant
我肯定有人会挑刺,但我很难从负面角度看这件事。