Opus 5.5はリリース後に密かに劣化したのか？ 毎日計測するベンチマーク「livenerf」が始動

claude codeのヘビーユーザーとして、『Claudeへのフィードバックを評価してください』というポップアップが出たとき、習慣でgoodかfineと言っていましたが、そのフィードバックを送った直後に、普段は起こらないような即座の劣化やミスを感じました。

今は毎回それを閉じるようにしていて、品質はより安定しています。

完全に場当たり的で個人的な経験ですが、観察したことですし、彼らがセッションごとにnerfしている可能性があっても驚きません。

Anthropicはユーザー負荷に対処するために調整を試みているのだと思いますが、それが悪影響を及ぼしています。例えば、2月に100万トークンを追加する前は、x個の要件が完了するまで続けるようにClaudeに効果的にプロンプトできましたが、今はループを作らなければなりません。それだけでなく、Claudeが私のループ時間より先に終了して次のパスを待つこともあり、それは30分ほど先になることもあります。これはおそらく彼らが負荷を軽く保つのに役立っていますが、誰でもイライラするでしょう。出力は同じでも、以前ほど迅速に得られないのです。嫌いではありません。私はオフ時間に個人のサイドプロジェクトでClaudeを使っています。

> 何も起こらず、人々がノイズにパターンマッチングしているだけという可能性もある。

間違いなくそうではありません。Anthropicには数千人の従業員がいて、スタックとインフラ全体で毎日おそらく10万以上の小さな変更を加えています。

その複合効果は、内部テストであまりカバーされていない領域やユースケースで一時的なリグレッションを引き起こす可能性が十分にあります。

LLMの場合、これを特に困難にしているのは、プロンプトの一部の言葉を変えるだけで出力が大きく影響を受けることです。

しかし、モデルが大きくなり、追加のパラメータが言語のあらゆる可能なニュアンスを捉えられるようになると、これはあまり当てはまらなくなります。今日の最大の原因は、キャッシュとキャッシュのチューニング、またはトークン最適化や思考の調整だと思います。

古き良き人間の認知バイアス（あるいは、非常に進んだケースでは、単にずさんな方法論）が、今なおSOTAモデルの幻覚と十分に競争力があるのを見て嬉しいです。

報告されている大多数のケースでは、モデルの「nerf」は実在しません。このようなベンチマークや、他に100以上ある「nerfが本当かどうか見てみよう」というコピーが、もし実在するならとっくに示していたでしょう。

人々がモデルがnerfされたと感じる理由を説明する図を作りました:

https://x.com/thesilenceturns/status/2103551351825543610

考え方は、新しいモデルはある複雑さのレベルまで扱えるが、そこに達すると崩壊するというものです。新しいモデルはより多くの複雑さを扱えるので、リリース時には何でもできると感じる素晴らしい時期があり、数日後にその複雑さの天井に達して飽和するだけです。次のモデルでも同じことを繰り返します。

このスレッドにいる何十ものボットアカウントが明らかに誤解を招く発言をしていることを考えると、あなたは何か核心を突いていると思います。Patreonか何かを開くのは良いアイデアかもしれません。Anthropicがあなたに良いモデルを提供するのを防ぐために、捨てアカウントが必要でしょう。

モデルがnerfされていると100%信じていますし、使っていて感じます。ローンチ日のLLM＋リリースされた週は素晴らしいです。彼らがすべての報道を得た後、nerfが始まります。新しいモデルをリリースするとき、それが大幅に良くなっているのではなく、単にnerfされていないだけのことがあります。

数週間後にnerfされるのは、モデルなのか、ユーザーのドーパミン受容体なのか？

より多くの組織がモデルを迅速に承認することが、Anthropicがより多くのコンピュートを求めて逼迫し、増加する需要、特にピーク時に対処するためにほんの少し削っているのではないかと思います。