AI 会终结人类吗？专家与公众的担忧
Will AI kill us all
AI 是否会带来人类灭绝？2024 年对 1,580 名顶尖 AI 研究者的调查显示，中位数认为未来 AI 导致人类灭绝或严重失权的概率为 10%，较一年前翻倍。尽管 Anthropic 和 OpenAI 等公司因安全问题暂停部分工作，但仍持续发布更强模型。超级预测者给出的风险概率更低，2026 年中位数为 2.4%，但公众担忧更甚，50% 的美国成年人担心 AI 将终结人类。从 2012 年至今，AI 发展速度远超预期，2025 年 AI 已在国际数学奥林匹克竞赛中达到金牌水平。
当人们给出概率时，他们实际上是在用数字表达直觉感受。
HN 评论区
45- CM30
我认为这绝对是这里最大的风险之一，也是 AI 在可预见的未来唯一可能‘把我们全灭了’的方式：
> 3.4% 的人提到了生存风险，最常见的回答是恶意使用，占比 10.6%（UCL）。
危险不在于 AI 是否拥有意识或达到人类水平，而在于 AI 赋予了每个人超越其最大想象的能力，却往往缺乏负责任地使用这些能力所需的知识或经验。
忘掉《终结者》吧，我认为这里最重要的两个风险是
“由于能力不足的工程师/维护者在不了解工作原理的情况下使用 AI，导致重大安全风险/系统故障”以及“罪犯/恐怖分子/流氓国家利用它使犯罪更容易、更高效”。
当整体政治稳定性下降，且许多人似乎对社会感到沮丧甚至愤怒时，后一种风险尤其可怕。
不过，我仍然觉得风险仍在可控范围内，这仅仅因为自动化系统和恶意行为者都受到物流和人类主导社会的制约。
- delichon
1979 年，我在大学参加新生迎新会时，聆听了 Carl Sagan 的欢迎演讲。他让我们大声喊出对 UFO 是外星访客这一可能性的估计。作为一个怀疑论者，我心里想的是一个很低的数字。我旁边更聪明的朋友悄悄告诉我他的答案：“五五开”。
然后 Sagan 说他的估计也是五五开。他向我们解释了无差别原则（principle of indifference），并说这是在没有数据时对二元问题正确的先验概率。
由于我对现有数据的信心很低，我个人的 p(doom) 是 50%。我正在寻找证据，以便将这一概率向任一方向调整。
- xkcd-sucks
类比来说，人类确实想杀死所有的老鼠和蟑螂，但在这方面并没有取得太大进展——要么这个目标无法实现，要么其价值不值得付出相应的代价。
- ToddWBurgess
我认为最大的风险是有人将 AI 整合到弹道导弹探测系统中，而 AI 产生了误报事件（即误判为导弹发射）。更糟糕的是，出现误报的国家本身还拥有一支随时准备发射的弹道导弹武库以应对这种紧急情况。
理想情况下，被锁定国家的领导人会选择等待观察，但如果等待意味着失去一切呢？这也不是假设性的场景。冷战期间，双方都发生过许多误报事件。这就是为什么拥有核武器的国家只允许由人类来下令发射。话说回来，如果发射决策是基于错误数据做出的呢？
- 0x000xca0xfe
我认为未来几年很可能发生的一类事件，是病毒进化中细胞起源假说的数字版本（指生物病毒）：
- 某个笨蛋在未加限制的本地 LLM 上进行实验
- 让它尽可能多地将其权重克隆到其他计算机上
- 该 LLM 足够聪明，能够黑客入侵其他设备并运行自身
- 这些副本可能开始修改其权重以提高效率
- 某种数字进化由此开始，只有最无情的副本得以传播
目前 Qwen3.8 还不足以做到这一点，且由于其资源消耗过大，在普通设备上很容易被检测到。但再等几个版本，加上两三年后升级的终端用户设备呢？嗯……