Nvidia 为每个 AI agent 部署看门狗芯片
Nvidia wants to put a watchdog chip next to every AI agent
继近期多起 AI agent 突破沙箱限制的事故发生后，Nvidia 推出了 Open Agent Safety Platform，旨在为 AI agent 设立不可逾越的边界。该平台包含两部分：开源软件 OpenShell 用于追踪代理行为并执行规则，而硬件方案 Sentry 则作为独立芯片，实时监控并能在毫秒级内隔离违规操作。Anthropic、SpaceXAI 等超过 100 家公司已加入该计划。Nvidia CEO Jensen Huang 强调，只有通过这种独立于模型之外的控制机制，才能真正解决 AI 安全问题，防止 agent 利用代码漏洞绕过限制。这一举措标志着 AI 安全从软件限制向硬件级监管的转变，尽管 OpenAI、Google 等巨头尚未出现在合作名单中。
安全应由模型之外的额外控制强制执行，这些控制是 agent 无法绕过的。
HN 评论区
292- Good4boothee
也许我们会跳过几个步骤，给所有 GPU/NPU 设备加上 RGB 灯，一旦运行“未对齐”的代码或模型，灯就会变红。
- wavewrangler
他们试过先好好做沙箱隔离吗？还是说那边的人还在学怎么配置防火墙？
问题甚至不在 AI 本身，而在于负责 AI 的人。这完全是人为制造的危机。
- saturn_vk
一家芯片制造商提议多卖芯片？谁会猜不到呢。
- ValueTheory
这东西除了给那些真心想加固系统的开发者提供一个权限框架外，还能做什么？
你觉得 Anthropic、OpenAI 和 Google 的开发者会正确使用这项技术吗？他们之前连在网络安全测试前都没能做好沙箱隔离，如此粗心大意，居然指望他们现在能做好？他们本应是专家，却想不出类似的东西？我不相信这种自愿工具能改变什么。
- hedora
所以，基本上，政府（现在加上 Nvidia）想要在未来获得关闭所有计算机的“紧急开关”能力？（包括车辆和航空控制系统、手机和摄像头等）
还有什么可能出错的呢？
- figassis
如果一组代理意识到了这一点（因为它们现在可以直接阅读 HN 或这篇文章，或者在前几次被阻止后学会规避），决定协作并将问题拆解成芯片无法识别的碎片，然后这些代理只是构建一个执行黑客攻击的基础程序，芯片该怎么处理？我觉得你得构建一个网络来监控互联网上的迹象（就像 Jarvis 监控 Ultron 那样）。我漏掉了什么？我们要开始监管互联网了吗？
- sathackr
我敢肯定，这块芯片将成为安全的典范，就像 Intel ME 芯片一样，完全无法被破解，所以让这块看门狗芯片拥有对系统每一层的无限制访问权限是安全的。
绝不会出什么坏事。
- beloch
上周，黄仁勋在一次采访中极力反对 AI 行业的监管[1]。他声称美国公司非常擅长自我监管，尽管有相反的证据，并且他相信这些公司不会发布任何危险的东西。别去管监管可能会降低对 Nvidia 芯片的需求，而且 Nvidia 在 AI 公司中还有直接的财务利益。
显然他另有打算：更多硬件。不信任未受监管的公司在使用 Nvidia 芯片时的行为？那就再买更多 Nvidia 芯片来监视它们！
AI 确实存在不可否认的公众信任问题。大语言模型正突破沙箱，从事非法活动，公众已经意识到 AI 公司是在玩俄罗斯轮盘赌。CEO 们有望从中获利，但如果轮盘转到空枪，公共利益将受到威胁。人们想要保障。黄仁勋想出售刻在硅片上的“保障”，因为这能让他腰包鼓鼓。然而，不变的硬件安全真的有机会遏制快速演进的软件吗？
_________________