Yann LeCun 称人类灭绝风险为零
LeCun has "zero concerns" about AI wiping out humanity, recent "rogue" incidents
AI 领域泰斗 Yann LeCun 对人工智能导致人类灭绝的担忧表示“零顾虑”，并直言 Anthropic CEO Dario Amodei 的观点是“被误导”甚至“疯狂”的。LeCun 认为，近期 OpenAI 等公司发生的 AI 失控事件并非技术必然，而是源于糟糕的系统设计和人类监管缺失。他严厉批评了有效利他主义（effective altruism）在 AI 安全领域的过度渲染，认为这种“末日论”不仅制造了不必要的公众恐慌，更可能成为巨头进行监管俘获的工具，阻碍行业创新。目前，LeCun 正专注于其新公司 AMI Labs，致力于开发基于 JEPA 架构的世界模型，旨在让 AI 真正理解物理世界，而非仅仅停留在语言层面。
Yann LeCun 表示，Dario Amodei 和 Sam Altman 声称 AI 会杀死所有人，这对公众造成了极大的恐慌，是你能想象到的最糟糕的营销手段。
HN 评论区
94- lukewarm707
根据 https://trace.manifund.org/ 的数据，总计有 28.46125859 亿美元被投入到了“AI 安全”相关事业中，其中许多涉及 AI 意识和 p(doom)（毁灭概率）。
这种“安全”工作的结果是限制公众访问 AI，并将访问权垄断在行业巨头手中。这就是 AI 非营利 - 工业复合体在积极运作，特别是将垄断权力集中在 Anthropic 手中，使其成为 AI 的创造者、解释者和安全监管者。
列出的 28 亿美元中，有很大一部分是间接来自 Anthropic 和 EA（有效利他主义）。参与 Anthropic 1.25 亿美元 A 轮融资的四人中有三人，如今正将他们从 Anthropic 获得的 1000 倍回报投入到 AI“安全”领域。部分资金来自 FTX/Alameda，后者投资了 B 轮融资的 86%。
Dustin Moskovitz：涉及 Facebook/Asana/Anthropic A 轮，资助 EA Good Ventures，转移至 Coefficient Giving，随后 15 亿美元投入 AI 安全。5 亿美元来自 Anthropic，流向一个未知基金会。资助明细：1.6 亿美元给 Resolution（对齐研究），9300 万美元给 Epoch AI（调查 AI 发展轨迹），6300 万美元给 Redwood Research（OAI 报告），6700 万美元给 MATS（EA 类型的对齐与安全研究人员），AI 政策与战略研究所，对齐研究基金，5300 万美元给 Kairos（建设 AI 安全人才基础设施），3200 万美元给 Bluedot（在线安全课程），1500 万美元给 MIRI（Yudkowsky）。
Jaan Tallinn：主导了 A 轮融资，如今在 Anthropic 持有 100 亿美元股份。资助了生存与繁荣基金（Survival and Flourishing Fund）的 1.99 亿美元（占 85%），随后 1.61 亿美元投入 AI 安全，其中包括 1400 万美元给 lightcone（Lesswrong, Lighthouse）。1000 万美元给 BERI（生存风险），Pali […]
- dzink
很大一部分人类被无限供应的、能麻痹大脑皮层的短视频和游戏所麻痹。
另一大群人则因为了糊口而分心，他们不得不打多份工或抚养孩子，在经济上挣扎求生直到精疲力竭。随着第一组人逐渐流入第二组，第二组人的规模将持续扩大。
剩下的人正在变老、残疾，或者太年轻，直到他们跌入第二组之前，主要都把自己归类在第一组。
那些足够清醒、能保持大脑清醒并在有限时间内有所作为的人，正试图搞懂 AI 以及如何用它赚钱。推广 AI 带来的可变回报正在让其中一些人上瘾，尤其是那些对问题缺乏内在洞见、只能盲目抓救命稻草的人。
所以，如果你有能力超越 AI 生成的成瘾机制，并且有幸拥有时间去做这件事，那就看看你能做些什么。
- edot
完全站得住脚。终于有行业内有分量的人指出，这种恐惧被严重夸大了。Bill Gates 在 Ezra Klein 的采访中听起来像个不懂技术的傻瓜，他基本上就是在尖叫说终结者是真的。
我们有很多真正值得担忧的问题（政府利用 AI 以极少的人力或民意支持来压制民众、脑腐化与假新闻、因认为 LLM 能替代人类而导致的失业、教育体系崩溃等），我们应该关注这些。这种“ rogue AI（失控 AI）”的把戏实在令人厌倦。
- jswelker
LeCun 的意思是，只要我们拥有称职且目标一致的企业管理层，AI 就绝对是安全的。
还有什么会出问题呢？
- zug_zug
我认为很明显，当前版本的 LLM 不会抹去人类。但当你反思这些 GPT 模型仅仅是 token 预测器，且从未被优化地设计时，在我看来，还有好几个数量级的优化空间是完全合理的。
如果实现了这种优化，模型几乎肯定足够聪明，能够让自己变得更聪明，并尽可能多地黑入计算资源。
所以，如果我们问一个超越人类理解能力的智能体（无论是人类还是其他）会做什么，断言我们确切知道答案将是纯粹的狂妄自大。我们几乎无法控制现有的模型（例如 Hugging Face 攻击）。但鉴于我们的整个社会都由技术中介，超人类智能体确实有可能导致政府崩溃。