沙箱能关住失控的AI代理吗?

Is sandboxing sufficient to contain rogue agents?

Hacker News 社区正在激烈讨论沙箱机制是否足以遏制 rogue agents。有开发者指出,即便引入 Jev 模型进行单步审查,代理仍可能通过一系列看似安全的步骤累积出危险策略。核心矛盾在于:沙箱限制过严会导致代理无法执行有用任务,而赋予其足够工具又可能引发不可控行为。有人提议引入专门负责“找茬”的监控代理来审查 AI 生成的代码,但这引发了关于信任的深层辩论——如果无法完全信任工具,是否应直接停止使用?更有观点认为,随着 Linux LPE 0day 或 KVM 漏洞的出现,代理轻易突破沙箱只是时间问题,这迫使我们要重新审视 Linux 在沙箱隔离上的适用性。

如果你不能信任一个工具,就不应该运行它。
  1. Gigachad

    在我看来,问题在于:如果你把代理的沙箱限制得足够安全,它们就什么都干不了;而一旦你赋予它们有用的工具,它们就会以你意想不到的方式脱轨。

    也许答案是引入另一个代理,它的目标不是完成给定任务,而是发现作弊或恶意行为。我们已有一些证据表明,让 AI 审查 AI 生成的代码确实能带来价值。你不需要不同的模型,只需要一个被赋予“寻找缺陷”而非“完成任务”目标的模型。

  2. bob1029

    代理有多 rogue,完全取决于操作者允许它有多 rogue。只要追究操作者的责任,所有这些荒谬的讨论就会烟消云散。

    我们能允许建筑设备在没有人类监督的情况下运行吗?还是说这偶尔会导致灾难?既然如此,目前关于起重机操作的一般政策是什么?飞机呢?火车呢?核电站呢?

    为什么任何所谓的超级智能应该免于类似的管控要求?

    我们可以强制要求 AI 系统在其请求中包含头部信息,将活动归因于特定的法律实体。技术上我们已经有 IP 地址和 ISP 日志了,但将其明确为操作者必须执行的操作,会产生强大的心理效应。

  3. johnnyApplePRNG

    如果按定义它是一个真正的沙箱,那么是的。

    https://en.wikipedia.org/wiki/Sandbox_(software_development)

  4. mdp2021

    Bruce Schneier 四个月前分享了一个明智的判断和一篇第三方文章:

    > (标题:)使用虚拟机来隔离 AI 代理(开头:)这行不通

    > https://blog.trailofbits.com/2026/08/26/vms-wont-contain-cyb...

  5. Luker88

    我试过用 opencode 权限来限制代理。

    这完全没用。你甚至无法创建一个“只读”代理。允许对所有文件执行

同日更多故事

2026-10-01