Opus 5.5は本当に弱体化したのか、11月3日に推論パターンが急変
Is Opus 5.5 nerfed? Thinking patterns changed on November 3
Shane Melaugh氏がGemini 4 Argonに1,400件のClaude Codeセッションを分析させたところ、11月3日を境にモデル名は変わらないまま推論の仕方が急変していたことが判明した。「high」設定での推論量は激減し、実バグのテストではhighは即座に動いて混乱し3時間かけても修正できず、xhighは数分で解決したという。
「high」を何にでも使えという定番の助言は、もう通用しない。
HNでの議論
397- PhunkyPhil
これを裏付ける証拠や研究があるわけではないですが、リリースサイクルの段階やアカウントの新しさによって、モデルの量子化や機能が_大幅に_いじられている気がしています。
新しいモデルが出るたびに途方もなく強力に感じられ、その後はここ半年ほど慣れ親しんできた、ありきたりなSOTAレベルまで劣化していくんです。
確かsonnet 4.6だったと思いますが、新規アカウントで初めてコーディングのプロンプトを試したとき、1回のプロンプトで驚くほど多くのことを成功させてくれたのを覚えています。他のモデルでは、他のどのタイミングでもそんな経験はありませんでした。おそらく「おっ」と思わせる反応を得るために、自分が優先リストの最上位に置かれていたからだろうと推測しています。
リリース後の劣化についてはかなり広く合意されているところですが、彼らが公表していない大量の余力を密かに抱えているのではないかとも思っています。将来切るカードとしてか、需要に追いつけないからか。これらの企業で働く人々から、公開モデルは実際の能力には全く及ばないという話を聞いたことがあります……これについて何か意見のある人はいますか？
- PaulKeeble
ローカルのQwen 3.8 27BはClaudeのモデルほど賢くはないかもしれませんが、ある朝目覚めて、自分が何らかのテストモデルの一部で、やや能力の劣るものや、日常的に使っているツールで十分に訓練されていないものを受け入れるかどうか試されているのではないかと疑うことは決してありません。また、突然システムのセキュリティテストやコードの脆弱性スキャンを拒否したり、何年も前に会社がコードを失った古いバイナリのリバースエンジニアリングを続けるのをやめたりすることもありません。
これはdeepseekのようないくつかの他のラボについてもありがたく思っています。彼らは実行しているチェックポイントを公開し、しばらくの間は古いものも販売してくれますから。
フロンティアモデルを使うために莫大な金額を支払っている顧客に対して、モデルが表すものを常に切り替え続けるのは、腹立たしいほど反消費者です。
- jascha_eng
残念ながらこのツールは数週間前に動かなくなりました。最近のプロダクトの半減期は本当に短いので、そうでなければ頼りになるデータがあったのですが：https://marginlab.ai/trackers/claude-code/
- rzk
A/Bテストの実験のようです：
https://www.reddit.com/r/ClaudeCode/comments/1xr9x5y/the_ner...
- losvedir
実際のシグナルを捉えている評価をしている人はいますか？「雰囲気」は信じないと学びました。
Opus 5.5を特に経時的にテストしているものとして知っているのは https://github.com/ninjahawk/livenerf だけですが、何も示していません。
- benwills
Fableの品質低下には2週間ほど前に気づきました。そしてOpusもここ1週間で低下していることに気づきました。ほとんどすべてをデフォルトでExtra High推論に引き上げた後でさえです。
今夜は、繰り返し犯す馬鹿げた種類のミスのせいで頭がおかしくなりそうです。本当に腹立たしい。
私は物事が一貫して信頼できることを望むタイプです。そしてAnthropicはこの点を除いて素晴らしいものでした。しかしこの点は、今年はほぼ2か月ごとに起きる、繰り返しの不満として十分に大きく、他の選択肢が追いつくのが本当に待ち遠しいです。そうなったらすぐに離れます。
それがいつになるのかは分かりませんが。
- purpleidea
もうずっと前から弱体化されています。オリジナルのFable 5を試した人なら、それがどれほど優れていたか分かるでしょうし、その後のすべてのモデル、現在のFableやOpusも含めて、間違いなく弱体化されています。まるで、すべてのコードに必須で5%のエラーを加えているかのようです……
- ricardobeat
同じことに気づき、3日前に投稿しました。
Opusは突然、基本的なツール呼び出しをしくじり、highでもタスクを完了できなくなっています。リリース以来ずっとlow effortで成功裏に使い続けていたのに。とても腹立たしいです。
推測ですが、彼らはそれを量子化したか、新しいモデルを訓練するためにデータセンターの容量を再配分したのでしょう。以前にもありました。
- hoppp
新しいモデルを出す前に、より良く見せるためにいつも弱体化させるんだよな、個人的にはそう思う
- Zambyte
こうしたサービスに依存してワークフローを構築し続ける人がいることに驚かされます。セルフホストしてこうしたことを全部忘れてしまうのはとても簡単なのに。Qwen 3.8 flashを動かせるGPUを、Claude Codeの最高ティアのサブスクリプション約9か月分で買えます。そうすればトークン制限や、モデルが足元で入れ替わることや、BANされることなどを心配する必要は一切ありません。