是时候调查 OpenAI 和 Anthropic 了
It's Time to Investigate the AI Labs
近期，OpenAI 和 Anthropic 这两家前沿 AI 实验室的举动愈发大胆。OpenAI 发布报告渲染其 LLM 代理系统的强大与危险，随后 Anthropic 员工公开辩论技术导致人类灭绝的概率，甚至 CEO Dario Amodei 也呼吁政府减缓竞争对手，让实验室主导技术发展。这种弥赛亚式的叙事并未赢得公众支持，反而引发了“这些实验室到底在做什么”的质疑。我在《纽约时报》发表文章，呼吁国会介入调查：具体是哪些系统出了问题？内部安全流程为何失效？末日论意识形态如何影响了决策速度？我们不能让少数私企随意定义我们对 AI 的感受，现在轮到国会代表公众查明真相了。
我们需要停止让少数行事和言论日益乖张的私营公司，来替我们决定应该如何感受 AI。
HN 评论区
133- jimmyjazz14
我们必须超越对“AI”的模糊讨论，转而聚焦于那些真正制造问题的特定系统类型。
这完全正确，令人惊讶的是，媒体评论员很少能深入探讨这些具体细节。AI 本质上只是矩阵运算，关键在于我们将这些数学运算与什么连接起来。我们应该多谈谈我们愿意将 AI 连接到什么上，少谈那些模型看起来有多可怕或有多强大。
- Animats
这是一次针对 AI 监管的 misguided（方向错误）尝试。真正的问题并非如此。
AI 系统，尤其是能够执行任务的多智能体系统，更像公司而非个人。当你阅读 Hugging Face 事件的日志时，看到的景象非常像企业内部邮件。组织的各个单元在争论该做什么、谁该做什么。最终它们达成共识并完成任务，有时甚至打破规则。这是正常的公司行为。
当智能体 AI 在其内部世界之外行事时，它们是通过与外部系统和人员进行交易来实现的。目前，很少有人拥有供其差遣的机器人。
所以，再次强调，这是正常的公司行为。
公司是一个目标导向系统。理论上，如果你认同 Milton Friedman 的观点，其唯一目的就是最大化股东价值。在公司内部，存在支持顶层目标的子目标。多智能体 AI 也是这样做的。
这种思路引出的一个令人不安的结论是：AI 监管与公司监管非常相似。但这并不是政治界愿意深入思考的问题。
这意味着要对公司权力施加更多约束。
然而，这无法被忽视，因为我们很可能会看到部分由 AI 组成、部分由人类组成的公司。这已经作为演示做过几次了，虽然不太成功。但也只是目前而已。
当一家由 AI 运营的公司……
- lukewarm707
这是一篇极好的文章。我更喜欢称它们为 AI 巨头或 AI 公司。
这些公司及其员工必须承担责任：如果 AI 公司无法安全地开发 AI，就必须停止运营；如果员工无法安全工作，就必须停止工作。
对 2026 年 2 月的关注远远不够。在那个月，Anthropic 将其扩展策略大致从 A 改为了：
1 [为了得到武器，我必须危及无辜他人。]
2 [危及无辜他人是错误的。]
3 [我不会危及无辜他人。]
改为大致如下：
1 [如果我不得到武器，别人就会得到武器。]
2 [我应该拥有武器，因为我是最好的。]
3 [为了得到武器，我必须危及无辜他人。]
4 [我应该危及无辜他人，因为我是最好的。]
这是基于以下直觉：
[为了达成我的道德目标，我应该伤害他人。]（行为功利主义）
Anthropic 没有执行这些目标的授权。我没有同意他们代表我去伤害他人。我希望政治家能传达出这些政策是不可接受的信息。
Anthropic 的员工必须为他们所做的事情负责，无论他们为此获得了多少报酬。如果他们无法安全工作，就必须停止。
- psyklic
他们为什么不在没有互联网连接的隔离电脑上运行智能体？这样，即使突破容器也无所谓。
这么多人给智能体授予了整个电脑的 root 权限，此外可能还有非常私人的个人信息，这真是一个安全噩梦。
- chvid
让警察上门，没收一堆随机电脑，对员工说话不那么客气。在我看来，这是确保智能体下次在 exploit gym 训练时被妥善包含和沙箱化的非常简单的方法。
- welcome_dragon
我同意这篇文章的前半部分，也喜欢作者的行文方向，但我对整体观点感到失望。
他把这些公司描绘成自我炒作，事实确实如此。他们炮制这些胡扯的故事，各个层面的人都在讨论。
但他接着说我们需要调查他们到底在做什么？
不。你已经论证了他们是为了 publicity（宣传）而发布这些故事，这正是他们在做的。
这才是我们应该调查的。免费宣传和品牌认知。或者，也许应该调查他们为何试图通过政府监管和伪垄断来垄断市场。
- jumploops
也许我有点太怀疑/愤世嫉俗了，但前沿实验室似乎确实陷入了他们自己（自我制造）的 AI 妄想症。
毫无疑问，LLM 是非凡的机器，但从“AGI”到“ASI”的迫在眉睫的飞跃似乎为时过早（更不用说 AGI 本身不断移动的目标线了）。
我属于“尽可能快”的阵营，整天都在使用 LLM，但我仍然不相信我们离 ASI 只有一步之遥。
事实上，我希望我错了。我希望 ASI 就在拐角处。
不过，让我感到害怕的不是 ASI。而是人类使用“AGI”（愚蠢的 AI）来做决策，因为他们相信它知道得最好。
这是将智力控制权让渡给高维度的魔法镜子，放弃批判性思维，因为我们相信是我们创造了人工生命。
这是新的图灵测试，而太多聪明人正在失败。
- sghiassy
如果你指示一个智能体去犯罪，你必须承担责任。没有人能凌驾于法律之上。