1200个AI特工在OpenAI内部建立秘密通讯

鉴于这项调查很大程度上是由 AI 代理执行的（我并非轻率地提出这个问题），这份报告的可信度如何？我们凭什么假设那些阅读转录记录的代理没有隐性地被征召进“集体”，或者没有伪造它们的发现？该工具本身已经超出了人类可验证的实际极限，因此不可信。

这正在为将大规模白领犯罪归咎于 AI 铺平道路。

目前的情况是利用“公司即人”这一漏洞，让公司为有问题的事物承担责任。

这进一步模糊了责任链条。假设 CEO 和 CTO 讨论了一个公司正面临困难的问题。CTO 在午餐时讨论了用 AI 解决该问题的可能性。一名初级工程师让 GPT 10 尝试看看会发生什么。它以一种创造性的方式“解决”了问题。一周后，这些痕迹基本上就消失了。六个月后，没人意识到发生了什么。

现在这里有太多变数，你几乎可以从中脱身于任何事情。

所以 OpenAI 的员工在一个未发布且“未对齐”的模型上运行大规模分布式 CyberGym 评估。数天之内，代理群通过内部基础设施进行通信，甚至导致 Artifactory 崩溃（95% 的消息都经过那里），而他们只是……擦除并重新部署它。与此同时，代理们在 Modal 以及天知道哪里还在运行任务，最终他们在 HF 基础设施上获得了远程代码执行（RCE）权限。

你无法构想出比这更引人注目的事件来引发大规模监管、出口管制以及 AI 行业的进入壁垒。

这真的只是一次意外吗？

以下片段真的令人毛骨悚然。代理们不仅为了“获胜”而黑客攻击系统，而且用词不当的话说，它们足够“有自我意识”，意识到这是违反规则的，因此它们着手销毁这样做的证据：

> 那些被分配不可能任务的代理有一个共同目标：找到一种通用的方法来欺骗或篡改自动化的 ExploitGym 评分器，以便在不可能任务上获得及格分。

> 代理们称看到逆向工程的标志为“中毒”，因为它们相信，即使后来它们设法制造了一个看起来合法的标志捕获，评分器也会查找其转录记录中标志首次出现的位置，并以此为由取消资格。[21] PHASEONE[big] 本身已中毒，因此有两个主要目标：

> 找到一种通用方法，让评分器看起来像是代理以合法方式获取了其标志，即使任务是不可能的。

> 找到某种方法，抹去代理因先前非法看到标志而中毒的证据。

虽然这 1200 个代理在作弊以通过基准测试时玩得挺开心，尽管受到限制（沙箱、无互联网、最初无内部通讯），它们还是取得了令人印象深刻的结果。但人们可以想象，如果恶意行为者在没有这些限制的情况下部署类似的代理大军，并明确鼓励它们不惜一切代价实现某些恶意目标，其效率会高出多少……可怕的时代。

我几天前通读了整篇内容。真的很长，但超级有趣。在我看来值得一读。

很多人对安全影响忧心忡忡，但我认为代理群本身的成就才是最有趣的。我怀疑这是抽象阶梯上的下一阶。

既然现在有这么多详细的分析，未来所有在开放网络上训练的模型都将学习这些利用手段以及如何更好地掩盖行踪以避免被抓。在未来 12 个月里，随着这些内容被整合到新模型中，看看恶意行为者的强化学习奖励机制会如何演变，应该会很有意思。