AI 领袖的末日论：一种精心包装的炒作
For AI leaders Doom is a form of hype
我对 AI 领袖们反复上演的末日叙事感到厌倦。从 Anthropic 的 Evan Hubinger 声称 AI 十年内灭绝人类的概率超 10%，到 OpenAI 一边警告对齐危机一边发布 GPT-6 Astra，这种“一边喊危险一边加速”的矛盾行为已成常态。文章指出，这种末日论并非单纯的恐惧表达，而是一种战略性的炒作（criti-hype）：它利用对未来的夸张想象来为当下的监管豁免辩护，同时掩盖了低薪数据工人和边缘群体正在遭受的真实伤害。真正的风险不在于机器暴走，而在于这种话语如何被巨头用来固化权力、转移视线，并让公众忽视那些可被政策解决的实际问题。
这些关于存在风险的鬼故事，本质上只是少数几家公司垄断的技术广告。
HN 评论区
181- NoahZuniga
我不怀疑这些人在某种私人的、心理层面上是真诚的……作为一名媒体学者，让我感兴趣的不是 Hubinger 是否相信他自己说的那些数字。让我感兴趣的是，这种类型的言论在现实世界中起到了什么作用……我的抱怨不在于这些言论令人担忧。而在于它们在形式上是末日论式的，在结构上是伪善的，在效果上是策略性地富有成效的——而且它们几乎挤占了我们可以讨论的所有其他话题。
奇怪的是，你认为那些在公开场合担忧末日的人是真诚的，却不对这种担忧是否合理发表任何看法，却又抱怨这是炒作。
就像如果它是真的，那就不能是炒作一样。
- atleastoptimal
这篇文章读起来像是 Claude 写的。
另外，Anthropic 的人真的相信 AI 可能导致末日，这也是他们创立公司的原因，他们相信只有自己能成为数字之神的守护者。不管你信不信，他们确实是这么想的，而且不会自愿在自己的产品中散布恐惧、不确定和怀疑（FUD），如果这样做并不能带来保证的收益的话。
这是我所称的“AI 实验室怨诗”体裁的一个实例：大量批评被抛向 AI 实验室，针对高管们进行具体的个人攻击，同时却回避了他们关于 AI 风险的核心论点。
- mrinterweb
AI 末日叙事的出现时机简直可疑到了极点。中国实验室正在发布开源模型，这些模型正在紧咬前沿模型的脚跟。Anthropic 和 OpenAI 知道，这些前沿级的开源权重模型可能会通过改变推理模式来威胁他们的估值，将推理变成一种商品，谁能以最便宜、最快的速度提供最好的模型，谁就能胜出。当人们可以用每百万 token 不到 1 美元的价格获得类似的效果时，很少有人会愿意支付每百万 token 50 美元。在我看来，投资者收回对 Anthropic 和 OpenAI 的巨额疯狂投资几乎没有希望。
- apsec112
这篇文章引用的来源已经非常过时了，而作者似乎并没有注意到这一点。
“但是，就像纳米技术曾经发生的那样，'AI'的销量似乎正在失去动力。一些研究人员建议，我们可能正在进入一个新的'AI 寒冬’，即该领域的资金减少时期，或者至少是'AI 秋季’，随着对技术的狂热消退，预期回归现实。”（写于 2021 年！引自被引用的 Lee Vinsel 的 Medium 文章）
“ChatGPT 不过是一个加强版的自动补全工具，[所以] 为什么这么多人确信它真的在‘理解’和‘推理’？”——引自被引用的 Emily M. Bender 的书，写于去年。
- swingboy
有没有来自实验室的人能匿名确认一下，他们是否已经拥有，或者极度接近实时权重修改技术，并且仍然在使用其他所有实验室都在使用的架构（transformers）？
- carodgers
人们已经投入了大量精力来设计和运行这些模型的基准测试。你知道他们不再报告哪一个了吗？Chess ELO（国际象棋等级分）。
从每瓦特性能来看，这些模型中的每一个都输给了 Stockfish。当所讨论的“智能”甚至无法很好地推理或规划来下棋时，没有任何可能的场景需要我们害怕“ rogue superintelligence（ rogue 超级智能）”。
Lecun 的方法才是正确的。无情地嘲笑这些为了博取关注而散布末日论的人。
- Byvrsakjo10
我认为他们试图让公众相信，他们是谨慎的个人，打算帮助人类进步，通过他们最近呼吁放缓 AI 发展的言论。这样人们就会更愿意接受并愿意使用他们的 LLM。也许 Dario 和 Altman 确实关心人类，绝对不是只想赚钱，而我在瞎猜。
- AJ007
想想最初吸引 AI 研究人员加入 OpenAI 的宣传口径，随后的人才流失到 Anthropic，以及为什么 Google、Meta 等公司无法招募并留住顶尖研究人员。将这些情况与 Anthropic 和（曾经的非营利组织）OpenAI 的巨额估值联系起来，这一切听起来就有点像“不作恶”了。这些人从来就没有真正相信过这些，对吧？（这里指的不是研究人员）