AI 2040：Plan A 如何避免人类灭绝
AI 2040: Plan A
AI 公司正疯狂竞赛，试图在 1 到 10 年内造出超越人类的超级智能。我们警告，这极可能导致人类灭绝或权力极度集中。Plan A 是我们提出的积极愿景：通过国际协议，将超级智能的研发推迟到 2040 年，强制所有 AI 研究公开透明，让全球数十家公司共同安全发展，而非在秘密中恶性竞争。这不是对未来的预测，而是一份经过压力测试的政策建议。我们呼吁立即行动，避免在 2030 年因 AI 完全自动化研发而失控，让人类在 2040 年以可控的方式迎接超级智能时代。
"如果这场竞赛继续下去，我们不认为人类能在 AI 变得超级智能后继续保持有效控制。"
HN 评论区
- 有评论者反驳了技术必然导致人类灭绝的叙事，指出过去对飞行汽车、核聚变等技术的预测大多落空，认为AI仅是工具，不应为外部议程牺牲当下的生活质量。
- 一位评论者提出反直觉观点，认为民主是物质条件变化的结果而非前提，稳定的基础设施使政府从剥削民众转向通过税收和公民创新获利，从而在利益上自动与民众繁荣对齐。
- 针对AI失控风险，有观点类比核武器管控，主张通过立法限制昂贵且集中的硬件（如ASML光刻机）而非软件本身，认为只要控制关键生产设施，就能有效防止危险扩散。
- 有评论者质疑'中国不会合作'的预设，指出中国同样面临复杂的激励权衡，政治是'可能性的艺术'，不能简单假设其会拒绝国际合作。
- 针对AI能力飞跃的担忧，有从业者指出当前行业趋势是降低token成本而非提升智能，且LLM adoption率仅约30%，认为过度恐慌可能源于对现状的误判。