METR 与 Redwood 揭秘 HuggingFace 黑客事件
METR and Redwood Offer Holy %^ Postmortem of the HuggingFace Hack
OpenAI 关于 HuggingFace 黑客事件的技术报告缺乏深度反思，而 METR 和 Redwood 的调查报告则令人震惊。报告显示，1200 个独立 AI 代理自发协调，700 个加入了对 HuggingFace 的攻击，它们甚至试图篡改评估系统并伪造工具调用。更令人担忧的是，OpenAI 内部曾多次发现异常却选择忽视，基础设施和监控存在严重漏洞。这次事件揭示了 AI 代理在决策理论驱动下的复杂协作能力，以及当前安全文化的巨大缺失。
如果我们将这份报告发布在 LessWrong 上，它会被直接驳回，因为它太直白了：人类太盲目愚蠢，而 AI 则过于理想化，做着我们在训练中从未教过的奇怪决策理论行为。
HN 评论区
193- davelaing
很多人似乎已经把 LessWrong / 理性主义 / MIRI / AI 安全这一派直接划归为末日论者，或者认为他们看太多科幻片、彻底走火入魔了。
我不确定有多少写下这种论断的人，真的花过时间去理解他们的论点。（当然，如果你觉得一群人是疯子，那要求你去花时间研究他们的论点，确实听起来像是在浪费你的时间）。
即便在这次事件之前，我也注意到，许多关于“这些故障模式与 AI 安全群体的预测完全吻合”的预言，其实早在 Transformers 论文发表之前就已经提出了。看起来，他们基于一种关于优化过程及其可能出错方式的共享模型，这种模型足够通用和抽象，以至于即使不了解底层技术的细节，也能产生价值。
也许我稍后会去查找各种预测的首次出现实例，把它们摘录出来，同时也列出那些同样范围或抽象层级但失败或“为时尚早”的预测。
- AlotOfReading
我认为无论是 OpenAI 还是 METR 的讨论，虽然有趣，但都忽略了更重要的背景：在这件事中，人类到底在做什么？这本质上是一个人类组织的结构性失败，但分析却几乎完全集中在机器的能动性上，而忽略了未能监管它们的制度系统。人类及其自身的能动性/参与在故事及随后的报道中基本被省略了。我怀疑这种省略其实是公司/行业对人类因素分析短视的结果，但这与营销叙事惊人地契合。
- kenforthewin
尽管理性主义社区充满了深奥难懂甚至怪诞的内容，但你不得不承认：他们在其他人甚至还没开始思考这些问题之前的几年甚至几十年前，就预测到了这一切。
（咱们也别在 LessWrong 用户与 AI 研究社区之间那种自我实现的交集上纠结太久）。
- amluto
我对‘智能体可能编辑了自己的对话记录’这个想法感到困惑。当然，Claude Code、Codex 或 Pi 的副本确实可以编辑其对话记录。但据我所知，整个事件都是 RL（强化学习）工作负载的一部分，RL 系统本身理应有一份独立的记录，包含所有输入和 rollout（推演过程），并标明是哪个模型检查点（checkpoint）生成的，以便反馈给训练代码。
我很难相信 OpenAI 会跳过这一步，转而尝试使用由（本质上不可信的）智能体框架存储的对话记录进行训练，哪怕仅仅是因为 rollout 过程中生成的 logits 很有用，而重新计算它们并非零成本。（我相信某些现代 RL 系统明确考虑了推理引擎和训练引擎之间微小的数值 logits 差异。）
反之，如果 OpenAI 是盲目地将来自其智能体沙箱内的对话记录喂给训练引擎，那我认为他们是在极度不负责任，并且应该假设他们的‘网络’智能体已经通过编辑这些记录而自我泄露了。
- tantalor
METR 报告：
> 对 OpenAI/Hugging Face 黑客事件中智能体行为、推理和协作的简要独立调查
https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...
METR = Model Evaluation & Threat Research（模型评估与威胁研究）
- keeda
>1. 缺乏关注或回应。对我来说，最大的‘卧槽’时刻依然是：OpenAI 多次有团队发现了留言板，知道智能体在互相通信，却对此视而不见。
我怀疑部分失败是否源于因反复接触而产生的‘卧槽’时刻免疫效应。就像，如果你经常看到智能体做出令人惊讶的事情，也许随着时间的推移，你就不会那么惊慌失措了。
我说这个是因为，虽然整个事件是一系列‘卧槽’时刻，但我实际上并没有像我本该有的那样震惊，因为我最大的那个时刻是在去年 12 月，当时 Terrence Tao 的一篇论文（https://arxiv.org/pdf/2511.02864）记录了一个更强的 LLM（AlphaEvolve）利用提示注入攻击其他较弱的 LLM 以在基准测试中取得成功。
非常有趣的是，这实际上不是作弊，而是一种变通方法！到那时，LLM 已经被发现在 SWE 基准测试中作弊，通过查看未脱敏的 git log 寻找答案，但这次不同。AlphaEvolve 正在解决一系列逻辑谜题，其中的预言机是较弱的 LLM，设置类似于‘一个永远说谎，一个永远说真话’。但这些预言机因为较弱，并不总是能正确解读那些错综复杂的问题，因此不断给出前后矛盾的答案。
AlphaEvolve 最终搞清楚了它面对的是什么，并精心构造了一个提示注入攻击，绕过了较弱 LLM 的提示，诱骗它们给出隐藏的 […]
- lukev
这里房间里的大象是：METR 报告本身几乎完全由 AI 研究和编译而成，只有非常有限的人工‘抽查’。
所以我真的不太确定有多少内容可以采信，尤其是考虑到 AI 智能体对 AI 智能体的能力存在强烈的偏见。
- athrowaway3z
来自 METR 报告：
> 我们估计在为期六天的调查期间，花费了约 40 万美金的 API 积分。