1122名AI员工联名呼吁放慢前沿研发
Pacing the frontier
来自OpenAI、Anthropic、Meta、Google等前沿AI公司的1122名员工联合发表声明，呼吁美国政府支持建立国际协调机制，以刻意放缓自动化AI研发的进程。声明指出，AI技术正加速逼近自动进行AI研究的临界点，这种能力的爆发式增长可能超出人类的理解与控制范围。尽管行业面临激烈的竞争压力，但为了应对前所未有的安全与社会风险，各方需要争取时间开发治理工具并加强监管。正如声明所言，盲目竞速而忽视安全与公共利益，将阻碍AI带来美好未来的可能。
世界正陷入一场致命的竞赛，奔向智能爆炸的临界点，届时AI创造更强大AI的能力将像失控的核链式反应一样，唯有协调减速才能让我们生存。
- alach11
HN 上关于这个主题的讨论让我感到极度沮丧。这完全是在浪费时间，毫无建设性。
我对 AI 发展的速度非常重视。我所有在 AI 实验室工作的朋友也都对此高度重视。人们很容易做出懒惰、肤浅的指责，认为 Dario、Demis 或 Sam 这样的领导者纯粹是出于私利行事。
如果 AI 确实构成生物风险，或者可能破坏地缘政治稳定，甚至仅仅带来经济风险，那么像这样的联合请愿难道不是一件好事吗？我们应该希望 AI 实验室达成具有约束力的协议，以更安全、更缓慢的速度推进，而不是陷入一场次优的博弈论竞赛，盲目地不安全地加速发展。我们应该希望各国能达成具有约束力的协议。我们这里的讨论应该聚焦于这些协议的具体内容以及执行机制的可行性。
- dzink
历史上最贴切 AI 的类比就是武器。它为国家和公司在制造武器、监控民众从而获得对个人的杠杆、以及控制个人能做或不能做的事方面提供了优势。因此，它遵循武器控制的规律：威胁要施加的限制越多，哪怕是最小的行为体也会拼命争取获得更多。他们可能不理解或不知道自己在争取什么，但因为潜在的竞争对手拥有它，他们就会想要更多。政府是这里的终极客户——他们拥有资金、精力和无限消耗 AI 的胃口，以在对抗国内外对手时使用。唯一的近似解决方案是阻止对 AI 使用的任何限制——就像美国宪法第二修正案那样（其好处在于它推动了 AI 的未来发展，因此也符合政府的利益）。现代大模型似乎具有可压缩性，因此我们可能会看到越来越多的小型化、专用化变种。但试图减缓武器前沿的推动总是适得其反。
- fidotron
任何认真对待此事的人都应该通过辞职来参与减缓前沿发展，以免可能助长那些有问题的进展。成为你希望看到的变化！
很好奇为什么这种事从未发生。
- girfan
有人能帮忙具体解释一下，在 AI 研究的背景下（无论是否在前沿实验室），达成具有约束力的协议以“更安全、更缓慢”地推进，到底意味着什么？是否有具体的政策和可执行的指南被提出？
- biffles
这是一个值得称赞的想法，但我看不出在实践中如何能减缓这一进程。我们当然知道中国不会放缓，而且他们已经在前沿了。
此时，RSI（相对战略重要性）对所有人来说都太重要、太切实了。这相当于在广岛之后告诉世界停止研发核武器。这根本不可能发生，而在此期间，AGI 的力量落入少数人（即政治阶层）手中而非赋能大众的风险将急剧增加。
- vessenes
这。绝对。行不通。
这场研究竞赛是一个零信任的重复博弈。任何背叛行为都可能带来永久性的价值。背叛总会发生。OpenAI 在推动放缓的同时就已经背叛了。
美国决定放缓的代价是极其巨大的，以至于将这种想法公之于众本身就是错误的；它可能会让美国立法者误以为这是可以实现的。他们根本无法实现，因为基本的经济逻辑和可能的结果使得任何战略对手都必须竭尽全力去背叛。
这里的提案设想了一个全球全景敞视监控国家来监督所有研究和芯片，将其视为“合理”的解决方案。即使在那种（对世界而言）糟糕的状态下，我们依然会面临有效的背叛。
喜欢也好，不喜欢也罢，世界已经在这趟列车上了，唯一理智的做法是全力支持那些正在攀登该技术学习曲线的高质量伦理研究团队和公司。
AI 2030 中关于这种想法的变体包括牺牲部分美国领先地位以换取一些模糊的安全指标提升——这同样疯狂。任何放缓都会给战略对手留出时间，让他们以完全不同的对齐目标迎头赶上。
我喜欢这种局面吗？不。签署这些文件的人是否完全否认了博弈论、利害关系以及战略对手的行为模式？是的，他们确实如此。
- tcdent
人们似乎没有注意到的一点（而且这一点并没有直接摆在你面前）是，AI 的发布和采用节奏实际上已经在放缓了。
每 token 的成本决定了 AI 应用于哪些任务在经济上是否可行。自动化加油站店员的所有职责需要多少 token？可能比他们的小时工资还高。工作保住了。
一个稍微延伸一点的例子，大多数人将其归因于利润率（实验室没有利润率，他们拥有无限的注资资本且没有短期回报预期），即大多数代码产品的固定费率计费计划。为什么 Anthropic 没有 50 倍或 100 倍的 Max 计划？并非不可能，而是这会以更快的速率向劳动力市场释放 token（请注意，大多数此类服务也有每小时、每天、每周的限制）。
这是一个假设性的观点，但经过深思熟虑，我不指望大多数人会同意我。如果将算力作为一个变量推导出来，这也支持将其作为一个故意的（冗余的）变量纳入考量。
- yks
> 我们请求美国政府……
真可惜，这些研究者的组织把精力花在了支持美国最愚蠢、最反复无常的版本上，指望它带领我们度过这个关键时刻。