一次辞职让AI恐惧变成野火
One resignation turned the embers of AI fear into a wildfire
Jacob Coxon 因安全顾虑辞职，意外点燃了公众对 AI 风险的讨论。随着 OpenAI 和 HuggingFace 事件频发，AI 领域的潜在能量已蓄势待发。恐惧是最简单的故事，它让极端风险观点迅速传播。尽管 Jacob 的辞职看似偶然，但背后是媒体协调与行业焦虑的共振。文章指出，当前 AI 实验室在安全投入上仍显不足，而 RSI（递归自我改进）的预测可能被高估。真正的短期风险并非灭绝，而是基础设施被滥用。我们需要保持理性，依靠法律与科学应对挑战，而非陷入末日恐慌。
恐惧是最简单的故事，是人们无法移开目光的叙事。
HN 评论区
76- qurren
我是 AI 工程师，感觉差不多。
我也觉得必须赶紧攒够养老级别的财富，趁这一切还没崩盘，然后搬到别处远离这场烂摊子。
对我来说，唯一可行的办法就是继续在 AI 领域工作，因为我掌握的其他技能都没这么高的报酬。
- mcast
一家从监管俘获中获利的公司，却人为地煽动对 AI 的恐惧并散布相关宣传，这看起来非常可疑。
- kidder
我听过很多 AI 末日论的论点，包括 Bostrom 的《超级智能》。
但我还是很难把它们当真。这些论点从合理的假设出发，然后进行 wildly 的推演。当前的 LLM 确实强大，也可能被危险地使用。接受几年动荡的变革是合理的。但我看不到它们会合理地导致文明终结的末日。
是 AI 行业内的末日论者过于焦虑了吗？还是我漏掉了什么？
- honr
我的个人观点（不一定代表我公司的立场）：
1. 自由放任的资本主义与 AI 从根本上是不兼容的。换句话说，成熟的 AI 会让自由放任（低监管）的资本主义环境彻底崩溃。（这其实不是我自己的观点，是从几位经济学家那里听来的细节，我觉得很有道理）。
2. 躲开 AI 将不再是长久之计。它将影响许多工作（通常是在宏观层面提高生产力；当然，它也可能在某些地方降低生产力）。
3. 关于当前应用能源成本的担忧是短期的。关注主要的电气工程会议就能明白原因。简而言之，有几个想法可以大幅降低能量/Token 推理成本（有些能降低约 100 倍）。一些现有公司正在研究这些想法，其中至少一家自 2018 年以来就有了概念验证，并计划在 2025 年末融资以扩大规模。当然，一旦 AI 推理变得便宜（就每 Token 的能耗而言），就会有更多硬件进行推理，所以总体而言我不知道成本会走向何方。也就是说，新的应用可能会流行起来，使用更多的 Token，从而耗尽推理能耗的“摩尔定律”。
4. 防止国家/国家层面大规模负面干扰的唯一办法是掌控局势，并有意识、完全地将其导向良好的最终状态。这需要政府具备天才级别的分析、洞察力和执行力。一些国家……
- neom
Bostrom 的《超级智能》出版于 2014 年，我推荐大家读一读。当时我觉得这是我读过的最好的科幻作品之一，从未想过这会成为我一生中公开辩论的话题。我觉得有趣的是，备受尊敬/知识渊博的人已经在电视/主流媒体上谈论这个问题好几年了，Jack Clark 曾多次在国会面前作证。这条特定的信息发生了什么变化，让它变得如此引人入胜？昨晚我妹妹发消息问我：“AI 真的能杀死我们所有人吗？为什么我们不能直接拔掉电源？”真是有趣的时代……！