AI 可能导致人类灭绝的多种未来图景
A Taxonomy of Omnicidal Futures Involving Artificial Intelligence
Andrew Critch 与 Jacob Tsimerman 在最新报告中梳理了由 AI 引发的 Omnicidal Futures，即可能导致全人类或绝大多数人类死亡的潜在事件分类。这份报告并非预言末日，而是旨在通过公开这些可能性，唤起公众关注，从而推动大型机构采取预防措施。作者强调，只有当社会对风险有清晰认知时，才能有效动员资源去规避这些灾难性后果。报告详细列举了不同场景，帮助人们理解 AI 安全挑战的复杂性，为构建更安全的未来提供理论依据。
这些事件并非不可避免，而是我们可以努力避免的可能性。
HN 评论区
81- le-mark
我最近读了库尔特·冯内古特的《自动钢琴》（Player Piano），这部小说探讨了自动化接管经济的问题。虽然书中没有明确提到 AI，但探讨的是同样的议题。该书出版于 1952 年，是冯内古特的处女作，也是战后时代的真实产物。[1]
另一本探讨这些主题的有趣读物是马歇尔·布莱恩（Marshall Brain）的《甘露——人类未来的两种视角》（Manna – Two Views of Humanity’s Future）[2]
[1] https://antilogicalism.com/wp-content/uploads/2017/07/player...
- estebarb
我不明白为什么几乎每次 AI 末日论都要给 AI 加上实体化身。现实生活又不是电影，不需要特效。
AI 不需要拥有身体就能变得危险。一位政治家可能会陷入由 ChatGPT 诱发的精神病态，这并不需要物理实体，而且这种情况现在甚至三年前就可能发生……我敢肯定它已经发生了……
其他指出的风险也很有趣，因为它们本质上就是帝国失去附庸国的风险。历史上，好战的国家一直试图维持其滥用优势，人类根本不需要 AI 来做到这一点。
总体而言，比起 AI 本身，我更担心那些真正危险的人类。
- darquomiahw
或者你可以直接看这些文章的总结版：
- aesbetic
恭喜 Jacob Tsimerman 荣获菲尔兹奖！
- RugnirViking
这些场景并不怎么好，甚至远未穷尽。连“回形针最大化”（paperclip maximisation）都没包括进去。