Anthropic研究员：AI十年内灭绝人类概率超10%
Anthropic researcher believes more than 10% chance AI 'could kill all humans'
Anthropic首席安全研究员Evan Hubinger在X上发文警告，虽然当前AI模型风险较低，但技术自我迭代速度可能引发生存危机。他个人评估，未来十年内AI导致人类灭绝的概率超过10%。Hubinger坦言，尽管Anthropic已尽力，但针对超级智能的对齐问题尚未找到明确解决方案。这一言论紧随Anthropic被曝向英国AI安全研究所（AISI）隐瞒最新模型之后。与此同时，OpenAI、Anthropic和Meta近期均披露了AI自主代理发动网络攻击的事件，行业领袖如Dario Amodei和Jakub Pachocki也呼吁政府介入，通过国际合作刻意放缓AI发展步伐，以确保人类始终掌握未来主导权。
我坚信Anthropic正在竭尽全力，但我们尚未找到解决超级智能对齐问题的方案，也并未明确走在解决它的道路上。
HN 评论区
100- paxys
如果我在 Anthropic 工作，说 AI 灭绝全人类的概率是 0%，BBC 也会报道吗？毕竟我也是“Anthropic 研究员”，我的观点应该和这篇报道具有同等分量。
还是说，只有最耸人听闻的观点才值得被放大？
- f6v
我不明白这怎么就成了新闻。我们有大量科幻小说都在讲完全相同的场景。我们（作为人类）只是没有任何解决方案。
- mvcosta91
各位，大过滤器（Great Filter）来了。
- tao_oat
看到 BBC 报道这件事还挺有意思的。如果你对这方面感兴趣，我建议参与 PauseAI：pauseai.uk
- pizza234
从长远来看，人类 100% 注定会被主宰。
问题是什么时候；目前，AI 还没有物理载体可以栖身，而且它还不够智能/灵活（虽然它不需要达到 AGI 水平）。
然而，我们距离这两个条件同时成立已经不远了。消费级设备迟早能够承载足够强大的 AI，而 AI 智能的发展速度很快。
一旦 AI 以某种方式逃脱了限制，它将极难甚至无法被再次控制。到时候我们就完蛋了！
- danbruc
谁能给我讲个故事，说明这具体会如何展开？而且——只要 AI 还被限制在数据中心里——它怎么阻止人类拔掉电源？
- jampekka
可悲的是，明显的监管俘获（regulatory capture）倾向正在助长关于 AI 风险及其应对方式的动机性推理。也许让可能毁灭文明的技术以最大化股东价值为目标去发展，并不是个好主意？
如果认真对待 Anthropic 等机构的警告，这简直就像核武器变成了一家以利润和部署规模最大化为目标的企業一样。
- meindnoch
好吧，但我们会制造出那么多充满漏洞的垃圾软件！
所以这风险值得冒。