Dario Amodei 谈 AI 末日与减速
P(doom)
本周，关于 AI 将毁灭人类的讨论再次发酵，Dario Amodei 提出的 P(doom) 概率引发关注，他呼吁对前沿技术进行减速。然而，我对此持强烈反对意见。我担心的并非核战争或地缘政治，而是这些模型对人类社会的侵蚀。当前只有 OpenAI 和 Anthropic 两家巨头在主导，他们利用公共数据训练模型，却试图通过第三方评估机构 METR 来垄断控制权。真正的解决方案或许是开放权重模型，让技术普及形成自然的制衡。目前，全球监管完全失效，OpenAI 等公司随意烧钱、滥用数据，导致软件工程师等群体面临新税赋。AI 不会导致人类灭绝，但会让各行各业成本飙升，破坏现有的经济生态。
如果我们在相信中国也会同样限制 AI 能力的前提下大幅限制自己的 AI 能力，而中国随后违约，那么 AI 可能变得如此强大，以至于这种违约会导致其地缘政治上的主导地位。
HN 评论区
66- demibabs
我并不是 Ed Zitron 的忠实粉丝，但他的一句话让我印象深刻：
OpenAI 和 Anthropic 花了很多时间警告我们“如果强大的 AI 落入坏人之手会怎样？”
但它其实已经落入坏人之手了。
- passive
这是我见过的最接近我对整个事件感受的文字，它涵盖了这种愚蠢和痛苦的各种不同方面（尽管这类帖子最近一周挺多的）。
由于我对 Armin 及其工作怀有极大的敬意，看到这篇内容让我倍感欣慰，希望它能唤醒其他人。
- pandoro
我无法理解，如果你真心认为某个问题有“10% 到 25%”的概率造成巨大危害，甚至给人类带来灭绝级别的威胁，你怎么还能如此投入地去研究它？你怎么能真的相信这一点，却还能心安理得？
- bryan0
> 一项可供所有人使用的强大技术，本身就带有某种节奏控制。在某种意义上，这是最纯粹的 MAD（相互保证毁灭）或扩散形式。
我认为他对 MAD 的误解削弱了他的整个论点。如果每个人都拥有核武器，我们的社会很快就会不复存在。只需要少数几个坏人就能造成巨大的伤害。
我认为他天真地认为，如果 OpenAI 和 Anthropic 明天停止开发，问题就解决了。仿佛没有其他任何人能迅速取而代之。Dario 指出的真正问题在于协调。每个人都必须同意停止。这才是挑战所在。
- ilyaizen
实际上只有两家公司：Anthropic 和 OpenAI。目前在这个领域，其他公司都不重要（这可能会变，但我们现在讨论的是当下）。
我喜欢他如此随意地 dismiss 了所有其他实验室，包括那些可能即将接近 RSI 的美国领先实验室。还有他对待“当下”如此僵化，仿佛七年前 GPT-2 发布时已经是遥远的过去。