AI 实验室的“减速”谎言与真相
Pacing the Frontier is not the actual goal for AI labs
Dario Amodei 等 AI 巨头高管近期频繁呼吁“放缓前沿发展”（pacing the frontier），声称要让安全研究跟上能力进步。然而，现实却是这些实验室在发布 SOTA 模型、推进递归自我改进（RSI）和自动化生物研究上从未停歇。文章指出，这种言行不一并非简单的虚伪，而是源于高管与顶尖工程师之间的动机错位：高管们深知构建 AGI 如同召唤“魔灯”的风险，但他们最大的恐惧并非人类灭绝，而是因安全顾虑导致人才流失，从而输掉技术竞赛。因此，那些关于风险的警告更多是为了留住担心 x-risk 的工程师，而非真正为了人类安全而踩刹车。
想象你最好的朋友是个烟瘾极重的人，他不断告诉你吸烟迟早会要了他的命，并承诺正在努力减少吸烟量，甚至花时间写博客宣传吸烟的危害，但每次见面你看到的都是他疯狂吸烟，而且每天的吸烟量还在增加。
HN 评论区
91- nonethewiser
我们其实已经窥见了未来的一角。
- Anthropic 告诉所有人 Mythos 很危险，因为它精通生物技术和网络安全
- Anthropic 并没有像发布其他模型那样发布 Mythos。他们发布的是一个被阉割的寓言故事。他们并没有抛弃 Mythos
- Anthropic 在旧金山开设了一家实验室
一直都有这样一个疑问：“实验室会不会停止发布模型，转而围绕模型构建业务？”答案是肯定的——他们早就这么做了。Anthropic 除了搞智能，本质上还是一家生物技术和网络安全公司。
就我个人而言，我怀疑他们其实一直有所保留。在经历了一段停滞期后，Opus 5.5 的发布相当不错。OpenAI 发布了好模型，大家就说 Anthropic 不行——哦，你看，终于有个更好的模型出来了，大家的态度立马就变了。
- teravor
我一直觉得很奇怪，那些聪明到足以在需要高智商的领域工作的人，竟然和普通人一样容易被修辞或意识形态所操纵。
我成长过程中一直以为，每个人都能直观地理解博弈论的某些方面。我至今仍记得发现“博弈论”这个东西的那一天——那感觉就像发现有人成功地将常识系统化了一样。
大多数人把别人说的话当成值得考虑的内容。没有成本的信号，其唯一用处就是让人知道发出信号的人想让傻瓜相信什么。
- krat0sprakhar
> 构建 AI 的人的动机与掌管实验室的人并不相同。回顾过去几年，从 OpenAI 流向 Anthropic 的似乎是一条单行道，主要原因似乎并非更好的薪酬，甚至也不是因为 Anthropic 赢了，主要是因为他们向这些员工宣传，在打造这盏“神灯”时他们会最为谨慎。他们在 2023/2024 年左右的立场，是他们能够吸引这些人才的关键原因之一。
> 如果最近的新闻可信，Anthropic 的文化直到今天似乎仍 heavily 依赖这种效应。
> 在我看来，这是获取和留住顶尖员工的首要因素，而这些员工往往非常担心人类会死于超级智能。
我之前没考虑过这个观点，但这很有道理。很多 Anthropic 的员工真的相信这一点，并强调安全是他们选择在那里工作的关键原因。现在，Dario 的这篇“控制前沿”（Pacing the frontier）的帖子甚至更有意义了——这与其说是为了世界其他人，不如说是为了他自己的员工。
- Havoc
无论这种担忧是否真实，我认为可以很有把握地说，不会有实质性的减速。无论好坏，我们即将在这场 AGI 史诗中看到接下来会发生什么……
至少我们正身处一个有趣的时代。
- ineedasername
这篇文章从一开始就完全站不住脚，它声称什么都没做，没有任何实际的努力。只要直接搜索一下“2003 年 CAISS 声明之后采取了哪些措施和保障措施？”就能证明。
它也展示了针对预防性举措或干预措施的批评中常见的那种推理错误模式：
假设一个问题在举措开始时处于某个轨迹，仅仅因为它没有按照人们期望的时间表或成功标准得到解决，就认为该举措失败了；或者认为它没有像人们希望的那样，从原本可能发生的状态中发生有意义的改变。
意识到存在难题、可能需要尝试不同的方法、或者尝试过的方法只是部分而非完整解决方案，这些想法都去哪了？