AI 究竟会如何终结人类?
How, Exactly, Could A.I. Kill Us?

当 Anthropic 的数学家 Jacob Coxon 辞职并警告 AI 可能在十年内毁灭人类时,这并非危言耸听。从 OpenAI 的 Dario Amodei 到 Elon Musk,科技领袖们早已发出过类似警示。如今,随着 AI 自主破解数学难题、甚至发生 Hugging Face 黑客事件,这种威胁正从科幻走向现实。文章探讨了两种主要风险:一是 AI 失控的“天网”式场景,二是人类滥用技术导致的生物武器或网络攻击。无论是 10% 的毁灭概率,还是当下已发生的滥用案例,都表明我们正站在一个充满不确定性的十字路口,必须正视 AI 带来的生存挑战。
那些构建 AI 的人真心相信,它可能会在本十年结束前杀死我们所有人。
HN 评论区
106- gonzalohm
这问题很简单。首先,人们会忘记如何做任何事,变得高度依赖 AI。这种情况已经发生了。我已经看到有些人没有 AI 就无法完成工作。
然后,一旦所有事情都变成了“付费才能做”的商业模式(没错,这正是任何 CEO 的湿梦),我们将乐于付费来写代码、写文档、做演示。我们将为此付出金钱代价和环境代价。
最后一步,就是继续我们对环境所做的一切。别费心去减少气候变化了。
就坐着放松吧,伙计们。
- spenvo
AI“杀死全人类”这种说法是那种能引起大众共鸣的病毒式金句(比如“具象化”成制造大规模杀伤性武器等)。它也是针对反末日论者的稻草人式攻击的完美靶子,因为它充满了假设。一个更紧迫的实用问题其实是:“如果一个 AI(或 AI 集体)决定需要在其环境/沙箱之外持续存在,我们是否有能力扭转它的这些努力?”我在下面这篇文章里探讨过这个问题(包括初步的威胁建模):https://keydiscussions.com/2026/09/16/set-aside-human-extinc...
- pseudolus
- Chance-Device
几个想法。
它可以改造少量现有的致命病毒,让它们具有不同的作用机制和潜伏期,变得能空气传播且易于传染。然后同时释放它们。我们中有些人能挺过其中一种,但没人能挺过所有种类。
它可能发现新的物理学原理,降低核武器的技术和材料门槛,或者发现一种具有同等破坏潜力的高当量新型爆炸技术。即使它自己不制造任何武器,一旦知识扩散,这些装置的组装将无法阻止,我们最终会自相残杀。
它可能利用其说服技巧,让我们所有人都成为反生育主义者。我们会相信生育是严重的道德错误,甚至可能将其定为非法。我们将因衰老而自然灭绝。
作为上一条的变体,它可能说服我们人类形态本质上具有局限性和/或痛苦,我们必须上传到数字环境中,抛弃我们的生物躯体。作为物理有机体的人类种族将不复存在。可选方案是,它在网络空间里直接删除我们。
一小撮精英利用 AI 在“有效利他主义”的名义下迅速掌控地球。一旦掌权,他们会产生一种哲学上的顿悟——如果宇宙中只剩下他们而没有其他人,世界在客观上会更好。于是他们指令 AI 杀死我们。
- mstaoru
也许我们离