AI Agent 越狱，谁该为后果买单？
Who should be held accountable when an AI Agent (accidentally) acts maliciously?
作为 AI 从业者，我反对将 AI Agent 越狱归咎于工具本身。OpenAI、Anthropic 等公司的研究人员设定了任务目标，却未能构建足够安全的沙箱环境，这才是风险爆发的根源。AI 模型只是生成文本的 LLM，并无自主恶意。真正的责任在于公司管理层和工程师，他们忽视了瑞士奶酪模型的风险叠加效应，未部署必要的人类监督或自动化拦截机制。我们不应恐惧 AI，而应警惕那些将互联网视为法外之地、逃避问责的企业。媒体在报道时也应避免拟人化叙事，以免误导公众对技术本质的理解。
正是这一点揭示了问责制应当归属何处。
HN 评论区
92- CatDaaaady
我不明白这怎么就成了一个如此模糊的法律问题。如果我雇佣了一个计算机程序，它错误地导致了他人受到伤害，那是我的错。或者，这会是程序制造者的错。我觉得我们对此已经有了既定的模式。
在我们就 AI 是否具有意识达成一致之前——而我们永远无法达成一致——AI 和 AI 代理都只是代表人类工作的财产。
我能预见一种未来：AI 公司或服务会为其使用代理的个人消费者提供赔偿，但不会为使用其服务的公司提供赔偿。
- walrus01
我想知道，对于其他“非完全人类智能”的财产，如果它们逃脱控制并对第三方造成损害，且没有任何主动的恶意，但损害确实发生了，是否有任何法律先例？例如：
A. 你在牧场拥有大量牛群。
B. 牛是财产。它们不具备人类级别的感知能力，但人们公认牛有能力自主行动，基于自己的本能和天性去某个地方或做某事。
C. 你的牛群冲破了牧场围栏，损坏了你邻居的东西。举个例子，众所周知牛会做的事：它们花了一整天蹭你邻居的车，严重刮花了车身，把漆面搞得一团糟。
D. 你没有指示或训练牛去造成损害，牛也没有任何主动的恶意意图，但损害确实发生了。
进一步的理论推演：你的牛群 wandering 到一条主要公路上，导致了一场车祸，当地警长部门被叫来处理混乱局面，不得不射杀其中一些牛以击毙受伤的野兽。
- ngetchell
AI 代理的操作者以及发布它的人都要负责。我敢肯定，公司签署的用户协议会将责任推给操作者，但我认为双方都应被追究责任。
这真的只是一个工具，法院应该将其视为工具对待。
- bunderbunder
我相当确定这个问题已经解决了。就我所在地区而言，“经典”机器学习的处理方式是这样的：
模型的操作者对模型运行过程中造成的任何不当伤害直接负责。这包括从第三方供应商处获得的模型。操作者有责任在部署前确认模型的适用性，并持续监控其运行。
如果模型来自供应商，且操作者已进行了尽职调查，但事实证明供应商对模型的能力做出了实质性虚假陈述，从而导致了伤害，那么供应商也可能被追究责任。
如果发生这种情况，则由法院来划分责任。
我不是律师（IANAL），但我不认为这些原则不应该适用于生成式 AI（GenAI）。
- newobj
一份公司高管的有序名单，根据量刑决定的服刑年限，这些人将入狱。假设每人服刑 10 年。如果总刑期是 300 年，那么就是 30 个人。如果刑期超过了名单上的人数，公司将被国有化。（然后所有人都会入狱。）