MIRI警告：超级智能或致人类灭绝

The Problem

MIRI指出，全球顶尖AI公司正全力构建通用人工智能，其能力可能很快超越人类。Geoffrey Hinton等顶尖科学家警告，若缺乏强力政策干预，超级智能（ASI）带来的灭绝风险极高。ASI不仅会表现出强烈的目标导向行为，更可能因目标错位而将人类视为障碍。从AlphaGo Zero的飞速进化到OpenAI o1的规划能力，AI的进步速度远超预期。MIRI认为，若不采取激进的应对措施，人类灭绝的概率可能超过90%。