Claude Sonnet 5.5、エージェントコーディング性能が10.3%から70.6%へ急上昇
AnthropicがClaude 5.5ファミリー第2弾のClaude Sonnet 5.5を発表。Sonnet 5比で30%以上の高速化と最大30%のコスト削減を実現し、Terminal-Bench 4.0では10.3%から70.6%へと劇的に向上。Opus 5.5に迫る知識作業性能を持ちながら、日常的なコーディングやドキュメント作成に最適化。サイバーセキュリティ能力の向上に伴い、Sonnetとして初めてサイバーセーフガードを搭載。
Epicの初期テストでは、Claude Sonnet 5.5は上位モデルに期待されるのと同じ品質基準をクリアし、システム設計監査とデータフローレビューで持ちこたえました。新モデルはゲームプレイシステムアーキテクチャの数万行のコードを管理し、応答を機敏に保ち、数時間にわたるタスクを処理し、より指示の少ないプロンプトで成果を出しました。
HNでの議論
601- azuanrb
Astra、Sol、Fable、Opusのようなフロンティアモデルを使っているのでなければ、中国製モデルをはるかに安い価格で使ったほうがいいことが多いと思う。みんながどれだけ競争力を持つようになったか気づいていないんじゃないかな。
GLMとDeepSeekは良い例だ。LinuxやAndroidに少し似ていて、必ずしも一つの最良のプロバイダーがあるわけではない。いくつか調べて、試して、自分のユースケースに最適なものを選ぶ必要がある。
Anthropicがしばらく最も高価なモデルをこれほど強く推してきた理由の一部はそこにあると思う。SonnetとHaikuは素晴らしかったが、その知能レベルでは、ほぼ追いついてきた中国製モデルと価格で競争するのがずっと難しくなっている。
今AnthropicやOpenAIのフロンティアモデルを使う主な理由は、知能とスピードの組み合わせだ。中国のフロンティアモデルはまだそれに匹敵するのは難しい。おそらくハードウェアの制約も一因だろう。しかし最近のGLMのリリースを見る限り、彼らは正しい方向に進んでいるように思える。
- Sol-
贅沢な悩みかもしれないが、Opus 5.5の効率性のおかげで、5xプランの制限は、一度に2〜3セッションを回していても、日常業務には十分すぎるほどだ。だからSonnet 5.5をいつ使うのか自分でも疑問だ。
ある程度の理解を保ちたいなら、それ以上の並行実行は現実的ではない。純粋なWebアプリやフロントエンドのタスクでは、プロセスよりも結果が重要なので事情が違うかもしれないが、その分野の経験はあまりない（そしてこれらの領域を軽んじるつもりもない。複雑さを過小評価しているかもしれない）。
驚いたことに、自分の仕事は少なくとも当面はモデルの能力でほぼ飽和している。ここからどうスケールさせるのか分からない。確かに、トークンを無駄に消費するためだけに全てのリクエストを最大努力で実行することもできるが、それでは意味がない。そして多くのタスクでは、エージェント（あるいはその群れ）を一日中自律的に走らせることで恩恵を受けられるほど明確な成功基準や自己検証ループを定義できない。
だからこれは自分のスキル不足だと自覚しているが、自分だけではないはずだ。少なくとも短期的にはトークン需要には限界があるのではないかと思う。彼らがAGIとRSIへ加速し、AIがトークンの用途を見つけるか、あるいはどこかで頭打ちになるかのどちらかだろう。
これはAGI懐疑論者だからでも知能に天井があると思っているからでもない。ただ、トークンの供給が需要を上回る、企業にとっての経済的苦難の谷があるかもしれないだけだ。
- abejora
Sonnet 5.5がTerminal-BenchでOpus 5.5（66.4）より高いスコア（70.6）を出したのは興味深い。奇妙に感じたので調べてみた。
すると、Opusはセーフガードのため、試行の10%がフォールバックモデルによって回答されていた。対してSonnetのフォールバックはわずか1.5%だった。[1] だからこれにあまり意味を読み取るべきではない。フォールバックの違いだけでおそらくこの差は説明できる。
[1] Sonnet 5.5 System Cardのセクション8.5
- wongarsu
「Sonnet 5.5のサイバー能力はSonnet 5から大幅に向上しているため、Opus 5.5と同様のセーフガードを付けて展開している。ユーザーは通常のソフトウェア開発の一環としてコードのバグを見つけて修正することは依然として可能だが、よりリスクの高いサイバーセキュリティタスクは目に見えてSonnet 5にフォールバックする」
少なくともAnthropicのモデルに関しては、Opus 4.8でサイバー能力のピークに達したようだ。それ以降はすべてより劣るモデルにフォールバックする。
- simonw
ペリカン。Sonnet 5.5はOpus 5.5と同じ問題を抱えている。「max」思考努力では、128,000思考トークンを消費し（それに15分かかった）、最終的なSVGを生成する前に使い果たしてしまった。
https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
思考努力レベルの比較は以下の通り：
low
27 input, 1,623 output, thinking_tokens: 0
1.6284
Duration: 10138ms (10s)
medium
27 input, 1,796 output, thinking_tokens: 0
1.7914 cents
Duration: 11266ms (11s)
high
27 input, 2,334 output, thinking_tokens: 745
2.3394 cents
Duration: 17376ms (17s)
xhigh
27 input, 5,730 output, thinking_tokens: 2535
5.7354 cents
Duration: 41882ms (41s)
max (failed to return response)
27 input, 128,000 output, thinking_tokens: 128000
$1.28
Duration: 940617ms (15m 40s)
lowとmediumはどちらも思考トークン0だった。
- wkcheng
コスト/パフォーマンスのチャートを見ると、ほぼすべての構成でOpusより見劣りする。Opus 5.5 highでより良い結果（高いスコア、安いコスト）が得られるなら、なぜxhighでSonnet 5.5を使うのか？
良いユースケースはあるのか？ これはLunaのように、特定の状況ではLunaを使うほうがずっと安く効果的というわけではない。
- MisterMunchkin
自分が使っている中国製モデルより20倍高い。もう必要ない。仕事で強制されれば使うだろうが、それ以外ではもう金を払っていない。
そして自分の職場は今やClaudeに金を払おうともしない。あまりにも法外に高価だからだ。
- Jcampuzano2
Opusでより低い、あるいは同等の努力レベルを使うだけで済むのに、なぜこれを使うのか理解できない。多くのベンチマークでは、mediumより上の努力レベルでは基本的に同じコストか、それ以上だからだ。
確かにSonnet 5より30%安いかもしれないが、今やほとんどのベンチマークでほぼ互角に見えるし、いくつかでは実際にOpusより高コストになっている。
何か見落としているのかもしれないが、この発表は平均的な人がこれを使おうと考える理由をあまり与えていないように思える。
- ghoshbishakh
つまりSonnetは今やFableより優れているのか？ あの、リリースするには危険すぎたFableより？ もう完全に混乱している。
- johnmlussier
月200ドル払い、彼らのCyber Verification Programにも参加しているのに、許可されたバグバウンティ作業でOpus 5.5もSonnet 5.5も使えない。すぐに`Cyber`でフラグが立つ。
ふざけるな。彼らのセーフガードはクソだ。