Anthropic 创始人 Dario Amodei 呼吁放缓 AI 发展
Anthropic boss Dario Amodei calls for AI development to slow down
Anthropic 的 CEO Dario Amodei 近期发表文章，呼吁全球放缓人工智能模型的开发速度，并加强监管。他指出，虽然发展 AI 不可避免，但相关风险十分严重，包括可能引发生物武器威胁甚至危及人类生存。Dario Amodei 提出了三点计划：独立监测模型开发、行业监管以及全球协调。尽管 OpenAI 的 Sam Altman 和 Elon Musk 也表达了类似的担忧，但美国前总统 Donald Trump 对此持不同看法，担心在 AI 竞赛中落后。Dario Amodei 强调，适度的放缓并非停止技术进步，而是为了留出时间进行安全对齐，同时避免让中国等竞争对手获得优势。这一提议引发了科技界的广泛讨论，有人支持，也有人质疑其真实动机。
Dario Amodei 表示，如果放缓发展能让我们多出一年或两年的时间，在模型达到关键能力水平之前推进对齐工作，我们就能大大降低出现严重问题的风险。
HN 评论区
108- jwpapi
我以为新模型超级智能。Fable 和 Astra 确实比前代表现更好，但经过几周的高强度使用后，我的代码库又变成了一团愚蠢的烂摊子，除了我手动修复代码，别无他法。
我现在的新怀疑是：它们并没有变得极其聪明，而是被训练在上一代模型的用户输入上。我不再认为我们经历了巨大的智能飞跃。看起来它们只是掌握了更多的边缘情况。因此，我认为这纯粹是营销手段。
欢迎讨论。
- aenis
问题是：猫不是已经出袋了吗？鉴于目前已公开的内容，以及那些有动力、资金雄厚的行动者可获得的算力，他们能否在没有关键研究人员的情况下继续研究？那些人能否招募到具有足够动机的关键研究人员？
与核扩散不同，这里不需要重工业基础，也不需要耗时且可见的铀浓缩过程。某人只需购买足够的算力，尝试绕过 RSI 审查即可。或者贿赂那些能接触到现有前沿模型权重的人——贿赂一群极客所需的成本与所涉风险之间的不对称性令人震惊。
- 99954bb63ccc
那么，前沿 AI 实验室的任何人是否考虑过用这些模型做一些_好_事，而不是不断证明它们能作恶？
与其燃烧 token 去搞那些智力上令人印象深刻但实则可疑的“黑客攻击”，或者从沙箱逃逸（我担心其中可能包含普通恶意软件），为什么不专注于向人们展示你们能修复什么？
或者，让人们每天实际使用的软件变得更好。
或者，将精力捐赠给医学研究。
我不喜欢把 AI 等同于核能，但这很像不断向人们展示你能制造多大的爆炸，而不是展示你能为多少房屋、医院、学校等提供电力。
- voidfunc
这家伙真是个自私自利的混蛋。
- 708145_
在经历了 6 个月的 Mythos 恐慌营销之后，很难再把他当回事了。
- bkishan
Sam 和 Elon 转发了 Dario 的推文并表示赞同。不知道哪件事更奇怪。
- malthaus
“我们的烧钱速度太疯狂了，让我们集体冷静下来，加固我们的护城河，以便在未来 50 年里进行监管俘获和寻租。”
恐惧仍然是让大众同意你为自己制定的任何计划的最好工具。
- knuppar
我要重复几个月前说过的话，现在依然适用：
> 耶稣啊 Dario，我们懂你的意思了，你就是想为 IPO 刷存在感。