Dario Amodei：我们必须放慢 AI 前沿
We Must Pace the Frontier
我从事 AI 研究十二年，坚信它能治愈疾病并推动民主，但近期 OpenAI-Hugging Face 事件让我深感忧虑。AI 正通过递归自我改进加速进化，若不加控制，失控风险将远超收益。因此，我提出‘Pacing the Frontier’计划，主张放慢模型能力提升的速度，而非停止研发。Anthropic 已率先承诺引入嵌入式第三方评估机构，并呼吁行业与全球政府协同制定安全标准。我们需要利用这段缓冲期，专注于对齐、可解释性和测试，确保技术真正造福人类，而非引发灾难。
我们必须放慢提升 AI 模型能力的速度，进步看起来依然会很快，但我们必须明智地利用争取到的时间。
HN 评论区
1012- RGS1811
我不太理解那些评论，都假设 RSI 才是这里真正的威胁。Dario 实际上是在承认他们没能解决对齐问题。没有对齐，能力的进一步提升只会让 LLM 变成肆意制造重罪的生成器。这种呼吁放慢前沿发展的说法披着利他主义的外衣，实则是承认他们无法生产出比现有产品更具市场竞争力的商品。放慢前沿意味着美国实验室失去了护城河，彻底陷入绝境。
- cuuupid
我们到底要到什么时候才能停止对 Anthropic 高层的善意互动，转而正视他们的过往记录？
- 不开放权重
- 不能用 Claude 研究 AI
- 训练数据窃取他人的知识产权，然后转手卖回给他们
- 已经发生了 8 次监管俘获尝试，且还在继续
- 控制欲如此之强，以至于成为唯一一家被美国政府列入黑名单的美国公司
这并非有效利他主义或理性主义的失控，这只是披着道德外衣的垄断性反竞争商业行为。只要我们还没看穿他们的耸人听闻，他们就会一直逍遥法外，直到我们用反垄断法给他们致命一击。
Altman 虽然遭受了很多骂声，但在上述五点中至少有三点，OpenAI 的治理表现远比 Anthropic 要好！
- Chance-Device
我赞同‘放慢前沿’这个想法，但在讨论限制措施时，我更喜欢另一种限制。即限制 AI 在企业环境中的使用，以免其在发展过程中摧毁经济。
达成关于‘放慢’的广泛共识的可能性相当低，这意味着这一切很可能不会发生，竞赛仍将继续。然而，即使在不可能的情况下前沿真的被放慢了，这也仅仅是减缓了经济替代的速度，而且幅度微乎其微。
如果 AI 的社会公益目标是推动医学和科学领域的根本性进步，那就应该将 AI 的使用限制在这些用途上。
不要用 AI 去取代从平面设计师到会计师再到软件工程师的每一份工作。对（至少是）大型公司实施法律限制，禁止它们以这种方式用 AI 取代人类劳动力。
AI 的推销话术总是声称能提高每个人的生活水平，但我们看到的实际行动却恰恰旨在降低生活水平。实验室何不言行一致，停止试图取代所有人类劳动力，真正专注于他们声称关心的事情？又为何不引入立法来强制执行这一点？
这发生的可能性可能比‘放慢前沿’还要低，但这才是大多数人真正希望看到的‘放慢’。
- academia_hack
Dario 提出的方案是资本试图控制技术进步和生产手段的经典案例。这是人类历史上第一次，任何工人阶级成员几乎都能负担得起一支由专家科学家、医生、律师和工程师直接为其服务的团队。
超级智能（即拥有比你自己更聪明的多个大脑为你效力）的能力，向来只为富人和权贵所拥有。他们利用它发明了核武器，导致气候变化，实现了战争机械化，并掠夺全球南方。
现在，同样的工具即将普及到每个人手中，资本开始恐慌并竖起围栏。他们想为这场他们知道无法控制的革命踩下刹车。他们看到了自己利用超级智能所做的事，并且（或许并不无理地）担心大众获得同样的权力后会做些什么。
- thadt
强烈反对。我们的选择是：
A) 赌上我们共同的福祉，指望所有公司、国家和人民在国家和国际层面进行合作，共同减缓这一史上最强大的经济工具（和/或武器）的发展。或者
B) 假设我们所有的系统此刻正遭受超级黑客的针对，并采取相应措施来应对这一现实。
如果必须将我们社区的福祉押注于这两种可能性之一，我知道我会押注哪一个。
- un_montagnard
Anthropic 即将上市，但他们意识到自己无法再像以前那样保持同样的改进速度。如果前沿发展被放慢，他们就可以继续炒作那些尚未发布的能力，而这些能力恰好因为‘超出他们控制范围’的原因而无法发布。这为他们争取了更多时间来尝试改进模型。
- iloveoof
蒸馏对消费者来说是一件大好事。它促进了竞争，削弱了 OpenAI 和 Anthropic 凭借算力建立的巨大护城河，否则它们就会形成双头垄断。而且，让那些仅用几分钱成本就基于人类知识财富训练出来的 AI，允许竞争对手以市场成本基于同样的知识财富进行训练，这也很公平。
- xg15
我不明白‘我们必须与中国达成协议实现共同减速’和‘我们必须确保永远领先于中国’这两个双重目标如何能同时实现。
我想象中国政府在关于此类协议的谈判中，提出的第一个要求肯定是解除芯片禁令和蒸馏禁令。
> 有些人可能认为这些措施使得与中国合作变得更加困难，但我认为恰恰相反：这些措施增加了民主国家手中的筹码，使未来达成协议的可能性更大。
每个人都可以信其所信，但在我看来，这种情况下所谓的‘筹码’恰恰就是解除这些措施的能力——你不能既要利用它们作为筹码，又要同时保持这些措施生效。
- madrox
这可能会显得突兀，但 Dario 似乎非常害怕承担责任。我并没有感觉到他曾经渴望经营这样一家公司。现在他成了 CEO，却不断做出缺乏竞争力的决策，并呼吁任何人（随便谁）来阻止他。这经常削弱 Anthropic 的竞争力。
这是我能想到的唯一解释，尽管对于任何历史研究者来说，这注定会适得其反。不需要太多想象力就能知道这样一个管理机构会被如何滥用，而且我相信它只会以我们无法想象的方式变得更加疯狂。Dario 根本不知道他在创造什么，而这一次，它不是 AI。
- sega_sai
虽然文中部分内容听起来很有道理，比如某种形式的外部监督 + 事件报告，但其余大部分内容似乎都集中在限制中国及其开源模型上，因为它们显然正在接近 Anthropic 模型的能力水平。