Anthropic 提案：50 人死亡才启动 AI 监管
Anthropic's proposed AI safety bill only kicks in if 50 deaths or $1B in damages
Anthropic 提出的一项 AI 安全法案草案引发了巨大争议。根据该提案，监管机制仅在造成至少 50 人死亡或 10 亿美元损失时才会启动。更令人担忧的是，这项法案将实际上赋予 Commerce Department 独家权力，使其成为唯一能够叫停 AI 模型的机构。这意味着在灾难发生前，其他监管机构可能完全无法介入，AI 模型的发展与安全似乎被置于一个极高的风险阈值之下。
该提案将实际上使 Commerce Department 成为唯一能够叫停 AI 模型的机构。
HN 评论区
166- oefrha
提案：
1. 起诉并监禁那些利用已知 AI 实施黑客攻击的人，让那些行事草率的公司明白，“哦，是我的 AI 干的”这种借口行不通。目前他们甚至把这当成一种荣誉勋章。
2. 如果你真的担心 AI 会杀死很多人，那就立即停止专门训练 AI 去从事杀人相关的技能，比如选择轰炸目标、驾驶战斗机等等。
当然，我们都知道这些都不会发生。
- createful
所有这些“安全”法案都是为了通过将开源模型描绘成“危险”来阻止它们。这是监管俘获。
公司应对其代理（agents）负责；你不会因为车撞了人而责怪那辆车。
- revolvingthrow
CoT（思维链）一定很有趣。
这个行动很容易导致一百多人死亡，所以无法执行。这个行动不会杀死任何人，但预计损失超过 20 亿，无法执行。这个行动只杀死二十人，但损失接近 10 亿，不确定，正在生成子代理核查数据。这个行动杀死四十人且物质损失较低，看起来有希望？但被杀的人很富有，法律报复的风险很高。也许可以杀其他人？当前政府不喜欢 X 群体，从这个群体中除掉五十人也许没问题？提醒：外国人不算在内，可以随意杀害，但不适用于当前情况。3/5 个人原则是否适用于安全法案？正在生成子代理核查。
- airstrike
下一步就是要求任何希望发布“认证安全 AI™”模型的人证明他们有能力为 10 亿美元的损失购买保险，并通过合规审计，证明他们将如何防止 LTM（长期记忆）死亡人数达到 50 人。这实际上意味着只有大型实验室才能为政府和企业提供服务。
- arw0n
这似乎是一个 Anthropic 在公众舆论场无论如何都赢不了的局面，而其他巨头（Google、Microsoft）已经意识到这一点，或者根本不在乎，所以它们保持沉默。Anthropic 不断被指责试图游说监管以排挤较小的竞争对手，但它们一直游说的是针对前沿实验室的监管，同时为小型实验室提供例外条款。这项法案也是关于这一点。
- mikeodds
我想他们内部已经解决了电车难题。
- aabajian
我认为即使在今天这也是无法避免的。任何拥有足够资金的人都可以下载领先的开源模型，并在约 1 万到 2.5 万美元的硬件上运行。他们可以将其对齐为自己的利益，包括制造生物武器。这项法律就像阻止 Torrent 下载一样。当然，你可以减缓他们，但总会有地下渠道存在。
- eclipticplane
未来代理的输出：
> 电车难题已解决。电车可以在两条轨道上运行，因为绑在轨道上的人数少于 50 人。一个独立代理核实，在最多 49 名受影响者的情况下，其潜在损失总额仅为 6.958 亿美元，使用的是最新可用的统计生命价值（Value of a Statistical Life）。