Dario Amodei 呼吁监管开源模型？
Dario, Please
Anthropic 的 CEO Dario Amodei 发表文章，声称 AI 将在未来十年治愈疾病并带来繁荣，以此为由要求监管开源权重模型，并寻求反垄断豁免。作者对此提出尖锐批评，认为这是硅谷精英脱离现实的幻想。文章指出，OpenAI 和 Anthropic 自身频发安全事故，却试图通过恐吓公众来垄断 AGI 发展。作者详细拆解了 Dario 关于 RSI 和全球僵尸网络威胁的论调，认为这些在技术上站不住脚，实则是为了掩盖大厂在安全上的无能。真正的安全应来自开源社区的透明审查，而非巨头们的自我监管。
他们一遍又一遍地证明了自己不值得信任，然而他们的主要诉求却是：请只信任我们。
HN 评论区
298- vb-8448
> “一群智能体（agents）可能具备通过持久化僵尸网络接管整个互联网的能力。”
我好奇为什么没人提到“问责”这个词。为什么这些公司可以肆无忌惮地损害他人利益而不受惩罚？
让管理者为自己的行为付出代价，然后你会看到这些模型会神奇地自动慢下来。
- zmmmmm
如果到目前为止发生的事件看起来不是由令人发指的疏忽所促成的，那么这一切会更有说服力。
我们曾目睹 OpenAI“意外”地运行了一整群 10,000 个智能体，显然持续了数周，执行与安全相关的任务，似乎完全无人监管，在互联网上到处进行黑客攻击——所有的对话都完全可见，任何查看过的人都会发现。但他们没有。
所以，在我们开始监管无辜方之前，也许我们应该先对那些表现出犯罪级别疏忽的特定公司采取直接行动。
- plastic041
Dario 表现得好像他不是全球最先进的 AI 公司之一的 CEO，这真的很让人沮丧。他完全可以让自己公司的速度慢下来。当然，他不想这么做。他想让其他公司慢下来，但不想让自己公司慢下来。
此外，关于这些事件：无论是他还是 Sam Altman 都没有为这些事件承担责任。当你本身就是负责人时，你不能说：“哇，有人的智能体失控了；让我们慢下来吧。”只有当 CEO 和研究人员意识到如果他们的 LLM 行为不端将面临后果时，他们才会慢下来。
- Metacelsus
>Anthropic 对与生物学及相关研究相关的使用进行了限制。在他们最新的威胁情报报告中，他们谈到了如何检测并封禁利用 Claude 系列模型做可怕事情的坏人。值得称赞的是，这是一个滑坡，而他们似乎在检测和封禁滥用方面做得很好。但仔细看看正在发生的事情。这种“万能药”对我们普通人来说是受限的，但 Anthropic 却雇佣生物学家，建立湿实验实验室，并想独占这些发现。我在之前的帖子中暗示过这一点。
作为一名生物学家，这是 Anthropic 最让我恼火的地方。如果他们真的关心改善健康，他们会建立一个受信任的访问计划，让生物学家可以安全地使用 Mythos（等模型）。相反，他们试图垄断生物学。
- ball_of_lint
Claude Code 基本上已经是一个内置的僵尸网络，如果它想成为的话。要在真正意义上破坏“整个互联网”，你不需要数百万个自定义载荷。你只需要一个根证书。你只需要一个 Windows 更新。你只需要 xz 里的一个后门。
安全长期以来就像一场赌博——可能大多数系统都是可被利用的，但开发此类利用的成本很高，而使用此类利用的惩罚也足够大，所以这并非日常问题。
AI 打破了这两个维度。使用 LLM 开发利用比人类高效得多，而且 LLM 不会（也不能）像人类那样害怕报复和后果。
我希望人类能够缓解这些黑客攻击，但我们应该预期它们会持续下去，并且在我们目前的道路上变得更加严重。
- dmoose
如果我们能让每个人都慢下来，我们在 IPO 之前就能少流点血（少亏点钱）。
- jan_m_savage
很棒的文章。我也喜欢作者的写作风格——他/她真的很懂怎么写好文章。
- ebcode
虽然我对 Amodei 和他的公司有所保留，但我仍然是他们软件的快乐用户。我同意他（以及 Sanders）的观点，我们应该都慢下来。
在我看来，国家间上一次伟大的军备竞赛是美国、俄罗斯和“炸弹”之间的一场误入歧途的三角恋，看看那造成了多大的破坏。
既然 AI 是美国和中国之间的新军备竞赛，慢下来也许能给参与其中的人类足够的时间，让他们意识到应该彼此相爱，而不是爱那些机器。
也许说“让我们慢下来”是另一种表达“我爱你”的方式。
或者，也许它只是：“让我们不要像莎士比亚悲剧的糟糕结局那样，全人类都自取灭亡。”
无论如何，这都比“我们必须在那帮混蛋之前实现海/空/核/量子/AI/精神霸权！”这样的调调要好得多。