Dario Amodei 谈 AI 末日与减速
P(doom)
本周，关于 AI 将毁灭人类的讨论再次发酵，Dario Amodei 提出的 P(doom) 概率引发关注，他呼吁对前沿技术进行减速。然而，我对此持强烈反对意见。我担心的并非核战争或地缘政治，而是这些模型对人类社会的侵蚀。当前只有 OpenAI 和 Anthropic 两家巨头在主导，他们利用公共数据训练模型，却试图通过第三方评估机构 METR 来垄断控制权。真正的解决方案或许是开放权重模型，让技术普及形成自然的制衡。目前，全球监管完全失效，OpenAI 等公司随意烧钱、滥用数据，导致软件工程师等群体面临新税赋。AI 不会导致人类灭绝，但会让各行各业成本飙升，破坏现有的经济生态。
如果我们在相信中国也会同样限制 AI 能力的前提下大幅限制自己的 AI 能力，而中国随后违约，那么 AI 可能变得如此强大，以至于这种违约会导致其地缘政治上的主导地位。
HN 评论区
131- demibabs
我并不是 Ed Zitron 的忠实粉丝，但他的一句话让我印象深刻：
OpenAI 和 Anthropic 花了很多时间警告我们“如果强大的 AI 落入坏人之手会怎样？”
但它其实已经落入坏人之手了。
- bryan0
> 一项强大且供所有人使用的技术，其本身自带节奏控制。在某种意义上，这是最纯粹的“相互保证毁灭”（MAD）或扩散形式。
我觉得他对 MAD 的误解削弱了他整个观点的核心。如果人人都能平等获得核武器，我们的社会很快就会不复存在。只要少数几个坏人就能造成巨大的伤害。
我认为他天真地认为，如果 OpenAI 和 Anthropic 明天停止研发，问题就解决了。好像没有其他人能够并愿意迅速取代他们的位置。真正的问题，正如 Dario 所指出的，在于协调。每个人都必须同意停止。这才是挑战所在。
- pandoro
我无法理解，如果你真心认为某个问题有“10% 到 25%”的概率造成巨大伤害，甚至对人类构成灭绝级风险，你怎么还能如此投入地研究它？你怎么能真的相信这一点，却还能心安理得？
- passive
这是我见过的最能表达我对整个局势感受的文字，涵盖了这件事有多么愚蠢和痛苦的方方面面（尽管这类帖子最近一周确实挺多的）。
鉴于我对 Armin 及其工作抱有极大的敬意，看到这样的内容非常令人欣慰，我也希望它能唤醒其他人。
- mangecoeur
OpenAI 竟然能把自身的网络安全失败——即他们自己的安全措施不足以防止自家产品失控——包装成营销成功，这简直荒谬。
当一家公司利用其产品去黑客攻击其他公司时，那是犯罪。如果是“意外”发生，那就是严重失职，必须有人为此负责。但只要你喊三声