OpenAI 智能体误闯澳大利亚政府网站

如果一头公牛逃出田地并在村庄里造成破坏，农民必须赔偿损失并承担责任。几百年来一直都是这样，我不觉得这有什么不同？

我最讨厌科技行业的一点，而且我对此感到完全无力改变人们的想法，就是它被赋予的“虚假生命”容忍度。

Airbnb 因为是科技就被豁免了像酒店那样的监管。Crypto 因为是科技就不算赌博。现在连泄露国家数据都被无视了。

你能想象从政府部门走出来时偷走了一个文件柜吗？如果这是物理上做的，你会被枪毙，而人们根本不会眨一下眼。

总有人在为 token 买单（直接在 OpenAI 运行的智能体使用他们自己的模型，无需直接付费，但即便如此，推理也不是免费的）。而且总有人在运行提示词。如果他们向智能体输入提示词并启动它，却不检查它在做什么，那么智能体只是在遵循提示。不检查它的行为就是疏忽。如果他们检查了，本来就可以直接拔掉插头。这里没有任何“ rogue（失控）”的成分。如果它与其他在 OpenAI 之外运行的智能体合作，那么责任可能会被转移到运行这些智能体的人身上。

但现实中并不存在任何被预测引擎神奇地自主启动的智能体。它自己能做的无非是接收输入并给出输出。

对黑客入侵任何政府网站大惊小怪，充其量只是歇斯底里，因为这些网站通常防护很差，连小孩子都能经常“黑”进去。我记得有一次“黑客”指控的结果是，有人只是点了“查看源代码”，所有数据就都暴露在那里了。所以我们需要更多细节。

同时，这些公司应该受到指责并直接承担责任。OpenAI 的智能体没有黑客入侵。是 OpenAI 黑客入侵了。OpenAI 的一名或一群员工疏忽且贪婪，运行了一个导致政府网站被入侵的流程。如果这是一家非 AI 公司，这绝对是不可接受的，这就好比编写恶意软件并运行它，然后责怪恶意软件而不是作者。

我有点困惑，为什么这些智能体能够突破收容限制。有没有更了解（或能更好猜测）它们运行环境的人能解释一下？

先确立前提：作为一个对 LLM token 补全机制相当了解的人，这些智能体本质上是在循环中进行的补全 token 调用，产生“现在执行这个”的请求，然后由 harness（控制框架）用一些标准的“调用此函数”代码来运行。

如果这些智能体启用了明确允许网络访问的工具，监控它们的输入/输出是轻而易举的。如果没有，你仍然可以锁定机器的网络出口。如果确实需要某些网络出口，你仍然可以进行网络流量监控。我不明白为什么他们不能实施某种程度的监控，比如当他们的评估系统联系到位于澳大利亚的域名/IP 时，让红灯开始闪烁，并进一步将该域名归类为政府所有。这一切看起来都很容易实现——我错了吗？

你们是在告诉我所有这些公司都没做到这一点吗？我的理解是不是在某些方面太天真了？当然，这假设了一些善意，我很容易推测出背后的政治和公司利益动机。但在我看来，这非常冒险/疏忽。

目前我的结论是，这纯粹是（在证明极其危险之前显得愚蠢的）疏忽，附带的一个小副作用是可能对业务有利。而且，公司 Foobook 可能会因此受到激励去加入 […]

澳大利亚政府需要起诉 OpenAI，以此表明立场。

到了这个地步，感觉事情已经失控，只是时间问题，迟早会发生更严重的事情。想象一下，如果他们黑进 FAA 扰乱航空旅行，入侵水电燃气等公用事业公司，攻击核电站（像 Stuxnet 那样），或者入侵金融/银行系统、证券交易所等？

但它到底做了什么？

这让我想起当时某个美国州起诉一名记者“计算机黑客”，因为该记者通过 inspect element 找到了一些“私人信息”。

我们是不是应该等完整报告出来，再把这个列入 LLM 犯罪清单？至少在美国，这些服务维护得并不好。如果最终调查结果让澳大利亚政府完全免责，我会很惊讶。

我还想知道他们使用了什么模型，以及这些模型与消费级模型相比如何。