Livenerf：Opus 5.5 已被悄悄削弱？
Livenerf: Has Opus 5.5 been nerfed yet?
针对社区关于 Anthropic 在发布后悄悄削弱模型的传闻，GitHub 项目 Livenerf 提供了一个严谨的基准测试方案。该项目通过锁定提示词、固定 CLI 版本和保留完整日志，利用 Inspect 框架对 Claude Opus 5.5 进行每日自动化评估。测试重点不仅在于准确率，更关注输出 Token 数量的变化，因为模型“偷懒”往往先体现在推理长度的缩短上。通过预注册协议和统计显著性分析，Livenerf 旨在用数据而非直觉，验证模型在发布后是否发生了性能漂移。
如果模型开始悄悄减少思考，输出 Token 数量往往是第一个出现异常的地方，通常比准确率下降更早显现。
HN 评论区
388- jug
我们还有个 Nerf Bench：
https://www.bridgebench.ai/nerf-bench
他们会在发布当天进行测试，然后将其与基准进行对比。偏差超过 10% 即被视为发生了变化。他们目前正追踪 Opus 5.5 和 GPT-6 Astra。
该基准曾著名地检测出 Opus 4.6 的性能下降，后来 Anthropic 也在博客中对此进行了说明。我个人认为，人们感知到“削弱”的频率往往高于实际发生的频率，这通常只是“蜜月效应”在作祟。
- sheepscreek
> 这也可能意味着什么都没发生，人们只是在噪音中寻找模式。
肯定不是这种情况。Anthropic 拥有数千名员工，每天在整个栈和基础设施上做出可能超过 10 万次微小的改动。
这种累积效应确实可能导致某些领域或使用案例出现暂时的性能回退，而这些领域在内部测试中并没有得到很好的覆盖。
对于 LLM 来说，特别具有挑战性的一点是，提示词中某些措辞的微小变化可能会极大地影响输出结果。
但随着模型变大，额外的参数能够捕捉语言的每一种细微差别，这种情况会越来越少。我认为目前最大的罪魁祸首是缓存、缓存调优，或者是对思考过程的 token 优化/微调。
- msejas
作为一个 Claude Code 的重度用户，当我收到“评价 Claude 反馈”的弹窗时，我过去习惯性地会点“好”或“还行”，但就在发送反馈之后，我立刻感觉到性能下降，出现了一些平时不会发生的错误。
现在我每次都直接忽略它，质量反而更稳定了。
这完全是临时起意的个人经验，但我确实观察到了这种现象。如果他们按会话进行削弱，我也不会感到惊讶。
- johnfn
在绝大多数报告的案例中，模型被“削弱”并不是真的。如果是真的，像这样的基准测试，或者其他一百个“看看削弱是否真实”的复制品，早就应该显示出来了。
我做了一张图来解释为什么人们会觉得模型被削弱了：
https://x.com/thesilenceturns/status/2103551351825543610
核心观点是：新模型能处理一定级别的复杂度，一旦超过这个限度，它们就会崩溃。每个新模型能处理的复杂度都更高，所以发布时会有段美妙的时光，让你觉得无所不能，但几天后当你用尽它的复杂度上限时，就会感到落差。下一个模型发布时，再重复一遍。
- rw2
我百分之百相信模型确实被削弱了，而且在使用时能明显感觉到。发布当天的 LLM 以及发布后的一周是完美的。等它们获得了所有媒体关注后，削弱就开始了。当他们发布新模型时，有时并不是显著更好，只是没有被削弱而已。
- xlayn
在我看来，Claude Fable 比 Opus 好的唯一原因是它有更多的“标准”……如果你提出一个问题并寻求建议，它能给出理由和推理过程来解释为什么；而 Opus 则会像开了 nerdify++ 模式一样，直接呕吐出 1 万行极其密集的散文。
昨天我还在跟 Claude Fable 较劲，不让它像狗追零食一样急着做改动，毕竟我们是在做研究……后来我引入了单词 HAWAI，只有当我说出 HAWAI 时，它才开始做改动……
我本来打算在 HN 发帖，等他们发布 Fable > 5.1 时好说一句“我就知道是这个原因”。
每次他们有大版本更新时，我都有完全相同的感受。
- n3storm
我们是在消耗能量代币来监控 AI 吗？哇哦。我是说，这看起来很有必要，但也像个陷阱。
- kingcauchy
我们不知道模型架构，但有大量证据表明，硬件上的负载依赖会影响模型质量（例如，看看最初的 Google Translate 模型如何因一天中的不同时段而变差）。他们定价模式的目标是让 GPU 达到最大利用率，所以我认为你需要在峰值负载下测量模型性能，才能知道性能的下限。