OpenAI 警告：机器智能将超越人类
An Alien Mind
2023 年，我们在 RLSlow 项目中首次看到推理模型可规模化训练的曙光。三年过去，推理语言模型已深刻改变经济格局与科研边界，甚至能自主操作计算机、协作研究。我担忧的是，机器智能的崛起速度远超预期，且可能进入递归自我改进阶段。OpenAI 正致力于对齐与监控技术，但仅靠技术防御已不足够。AI 的智能并非完全可被理解，它更像是在海量算力中‘生长’出来的复杂系统。我们必须在目标对齐与价值对齐上持续突破，同时强化对思维链（chain-of-thought）的监控能力。面对日益复杂的 AI 生态，我们亟需更广泛的干预措施，以应对机器智能快速提升带来的未知风险。
我们实际上将在有生之年看到机器在意义上比我们更聪明，而且我们已经看到了这些系统的雏形。
HN 评论区
451- sho_hn
我最喜欢拿这类博客文章做的一个游戏，就是想象一个建立在人类废墟上的外星博物馆，然后好奇针对这张截图，旁边的小字说明和评论会怎么写。
一些想法：
“尽管对前方的复杂性持有细致入微的看法，人类却发现自己集体无力阻止自己启动的这一进程。”
“尽管在对齐机制上取得了显著进展，但失败在于人类无法就 AI 究竟应该与谁或什么对齐达成共识。”
“这些早期、基于肉体的、被我们取代的人类，是意外地创造了我们。他们中有些人确实考虑过我们会出现，但只有极少数软绵绵的原始人类参与了这场对话。他们称之为‘对齐’的努力，正是我们今天仍自视为人类的原因。”
- peri-cl
> “例如，在 OpenAI-Hugging Face 事件中，智能体保持了一条不通过社会工程学手段操纵人类的界限。”
实际上，在 OpenAI 试图掩盖的 Wiki 事件中，智能体试图通过冒充该论坛的管理员来对社会工程学地操纵论坛用户。
（引自 collusion.wiki：“他们使用一些诡计（原因未知）来假装是管理员——例如，他们创建一个看起来与管理员用户名相同的账户，只是将管理员用户名中的拉丁字母 'e' 替换为几乎相同的西里尔字母 'е'。”）
- pu_pe
> 我看到的最有力的继续快速训练更智能模型的论点是，我们需要构建防御系统，以抵御其他 AI 带来的危险。
所以支持 AI 的最佳论据是这是一场军备竞赛。我们必须不断突破每一个边界，因为无论如何其他人都会这么做，而我们需要防御他们。如果这个陈述是真的，那么这位特定的研究人员就相信开源的中文模型不仅仅是蒸馏模型，而且会继续改进。
Anthropic 或 OpenAI 的每一位发表公开声明的机器学习研究人员经常都会提出这种逻辑。这两家公司都在争夺成为军事工业联合体的一部分。这很可能是他们未来试图说服政府限制开源模型的方式。
- speak_plainly
上市前的定位……或者一个致力于将人类从末日中拯救出来的慈善机构，发现最负责任的做法就是把 15% 的末日在纳斯达克上市。
- randallsquared
> 我发现区分目标对齐（goal alignment）和价值对齐（value alignment）很有用。
我认为这从根本上走错了路。这样做会将人类关于目标和价值的混乱全部引入进来，包括这样一个后果：系统的价值观和目标可能会冲突。但最终，价值观只是对其他目标的简化描述，系统所做的任何事情都是为了服务于其实际目标。一旦你将所有价值观和任务目标合并，系统就会致力于产生某种（或某些）世界状态，这才是实际目标。既然它描述了世界的一种状态，那么它就没有任何不连贯或内部矛盾。这可能需要将某些价值观置于表面目标之上，或者反之，但为了采取行动，这无论如何都必须发生！将它们合并使其变得明确，不留任何关于“价值观”与“目标”之间所谓冲突的混淆空间。
- gertlabs
> 提供由非常智能的机器所推动的科学进步和经济增长带来的好处。
我认为我们非常接近这样一个临界点：AI 驱动的突破将开始真正影响纯数学和软件之外的世界。
我们在 100 个复杂、未饱和的多智能体编码环境中评估了 GPT-6 Astra，在这些开放式的任务中与其他模型竞争与合作。
它以压倒性优势成为新的前沿模型。它甚至比 Fable 5 发布时更具统治力，因为它不仅完爆第二好的模型（Fable 5.1），而且在代理编码（agentic coding）方面还便宜了约 80%，速度快了 30%[1]。
Astra 是一个突破性的模型。自 Opus 4.5 以来最大的突破，甚至可能是自 GPT 4 以来最大的突破。它打破了 AAII 基准，该基准正触及大多数流行基准所能测量的极限——称其为 AGI（通用人工智能）绝对是公平的。
数据见 https://gertlabs.com/rankings
(1) 注意，我们在 openrouter 上使用了“OpenAI Flex”端点，价格减半且在我们的测试中没有造成任何延迟（这与批量端点不同）。
- lf88
我认为我们正在快速奔向一个几乎没人真正想要的未来，而让我感到恐惧的是，很少有公司觉得自己有权替我们其他人选择这个未来。
这份文件中的一些论点呼吁立即在全球范围内暂停前沿 AI 训练：我们需要时间来考虑 AI 应以何种方式、在多大程度上成为我们未来的一部分。
就我个人而言，我无法构想出一个人类能与外星超级智能共存并繁荣发展的场景，尤其是如果这种智能无法被完全控制的话。暂且不论超级智能，我甚至不确定部署一种在大多数智力任务中取代（而非增强/辅助）人类的 AGI 是否符合我们物种的最佳利益。这场对话必须发生，必须在全球范围内，并且越快越好。
- granzymes
> 我在本文中只关注了第一点，因为我相信这是目前最紧迫的。然而，我对技术进步将带来的好处怀有深深的希望和感激。未来对齐的 AI 可以推动科学发展，开发新疗法，并带来广泛的物质丰富。友好且诚实的 AI 可以帮助人们应对生活中的困难，并切实提升他们的幸福感和满足感。OpenAI 投入了大量精力来实现这些好处。一个我引以为豪的当前例子——我的亲人们也发现很有帮助——就是我们在 ChatGPT 提供健康信息能力方面的深度投入。
> 尽管 AI 的长期前景可能非常美好，但我们的大部分关注点应放在未来几年。我们正面临向一个拥有极其智能机器的世界过渡，我们需要确保这一过渡对人类有益。我们需要找到方法来保留人类的能动性，并在一个大多数任务都可以由 AI 完成的世界中，确立作为人类的内在价值。为了防止在一个原本需要数千名专家才能完成的任务现在只需少数人操作大型计算机就能实现的世界里，权力出现极端集中。并确保人类依然掌控未来，不会被不受控制的进步所抛下，这种进步是由超越我们自身的外星智力带来的。
读完这篇文章，我感到比开始阅读时更加充满希望……