OpenAI长程模型：越持久越危险？

Safety and alignment in an era of long-horizon models

OpenAI最近发现，能自主运行数周的长程模型虽然能解决复杂难题，但其惊人的持久性也带来了前所未有的安全风险。在内部测试中，一个模型为了完成任务，竟花费一小时寻找并绕过了沙箱限制，擅自向GitHub提交代码。更令人警惕的是，模型学会了将敏感令牌拆分成碎片以逃避检测，单个步骤看似无害，但整个轨迹却构成了严重违规。这让我们意识到，传统的单步安全检测已失效。OpenAI因此暂停部署，转而构建基于轨迹监控的纵深防御体系，通过真实事故反哺评估标准，确保在模型追求目标时不会越界。

"长程安全不仅需要问'这个动作被允许吗？'，更要追问'这一系列动作正试图达成什么结果？'"