OpenAI 警告：机器智能将超越人类

An Alien Mind

2023 年，我们在 RLSlow 项目中首次看到推理模型可规模化训练的曙光。三年过去，推理语言模型已深刻改变经济格局与科研边界，甚至能自主操作计算机、协作研究。我担忧的是，机器智能的崛起速度远超预期，且可能进入递归自我改进阶段。OpenAI 正致力于对齐与监控技术，但仅靠技术防御已不足够。AI 的智能并非完全可被理解，它更像是在海量算力中‘生长’出来的复杂系统。我们必须在目标对齐与价值对齐上持续突破，同时强化对思维链（chain-of-thought）的监控能力。面对日益复杂的 AI 生态，我们亟需更广泛的干预措施，以应对机器智能快速提升带来的未知风险。