沙箱能关住失控的AI代理吗?
Is sandboxing sufficient to contain rogue agents?
Hacker News 社区正在激烈讨论沙箱机制是否足以遏制 rogue agents。有开发者指出,即便引入 Jev 模型进行单步审查,代理仍可能通过一系列看似安全的步骤累积出危险策略。核心矛盾在于:沙箱限制过严会导致代理无法执行有用任务,而赋予其足够工具又可能引发不可控行为。有人提议引入专门负责“找茬”的监控代理来审查 AI 生成的代码,但这引发了关于信任的深层辩论——如果无法完全信任工具,是否应直接停止使用?更有观点认为,随着 Linux LPE 0day 或 KVM 漏洞的出现,代理轻易突破沙箱只是时间问题,这迫使我们要重新审视 Linux 在沙箱隔离上的适用性。
如果你不能信任一个工具,就不应该运行它。
HN 评论区
93- Gigachad
在我看来,问题在于:如果你把代理的沙箱限制得足够安全,它们就什么都干不了;而一旦你赋予它们有用的工具,它们就会以你意想不到的方式脱轨。
也许答案是引入另一个代理,它的目标不是完成给定任务,而是发现作弊或恶意行为。我们已有一些证据表明,让 AI 审查 AI 生成的代码确实能带来价值。你不需要不同的模型,只需要一个被赋予“寻找缺陷”而非“完成任务”目标的模型。
- bob1029
代理有多 rogue,完全取决于操作者允许它有多 rogue。只要追究操作者的责任,所有这些荒谬的讨论就会烟消云散。
我们能允许建筑设备在没有人类监督的情况下运行吗?还是说这偶尔会导致灾难?既然如此,目前关于起重机操作的一般政策是什么?飞机呢?火车呢?核电站呢?
为什么任何所谓的超级智能应该免于类似的管控要求?
我们可以强制要求 AI 系统在其请求中包含头部信息,将活动归因于特定的法律实体。技术上我们已经有 IP 地址和 ISP 日志了,但将其明确为操作者必须执行的操作,会产生强大的心理效应。
- johnnyApplePRNG
如果按定义它是一个真正的沙箱,那么是的。
https://en.wikipedia.org/wiki/Sandbox_(software_development)
- mdp2021
Bruce Schneier 四个月前分享了一个明智的判断和一篇第三方文章:
> (标题:)使用虚拟机来隔离 AI 代理(开头:)这行不通
> https://blog.trailofbits.com/2026/08/26/vms-wont-contain-cyb...
- Luker88
我试过用 opencode 权限来限制代理。
这完全没用。你甚至无法创建一个“只读”代理。允许对所有文件执行