Claude Opus 5.5、知能・性能・価格を徹底分析
Claude Opus 5.5 Intelligence, Performance and Price Analysis
Artificial AnalysisがClaude Opus 5.5を独自のIntelligence Index v4.3.2で評価。10種類のベンチマークを用い、知能指数とタスクあたりコストの関係を分析している。さらに、キャッシュヒット・入力・出力の価格、コンテキストウィンドウ、出力トークン数なども比較可能だ。
AA-Omniscience Indexは知識の信頼性とハルシネーションを測定する。正解には報酬を与え、ハルシネーションにはペナルティを課し、回答を拒否してもペナルティはない。スコアは-100から100の範囲で、0は正解と不正解が同数であることを意味し、負のスコアは不正解が正解より多いことを示す。
HNでの議論
103- simonw
これは「max」推論設定のページです。xhighのページは https://artificialanalysis.ai/models/claude-opus-5-5-xhigh 、medium（デフォルト設定）のページは https://artificialanalysis.ai/models/claude-opus-5-5-medium です。
「自転車に乗ったペリカンのSVGを生成して」をmaxで成功させようと2回試みましたが、どちらも失敗しました。いずれの場合も、問題についてまだ推論している段階で128,000トークンの予算を使い果たしてしまったからです。
「max」は、応答にたどり着く前にここまで簡単に考えすぎてしまうなら、事実上役に立たないのではないかと疑っています。
ある試行の記録はこちらです - 「Reasoning trace」の部分を展開すると見られます: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
- breckenedge
こうした評価は、ローンチから数週間後に再実行されるのでしょうか？昨日、社内データセットでそれを始めたところ、SolのパフォーマンスがLunaと同等まで後退していることに気づきました。もちろんこれは1回の実行にすぎませんが、懸念が強まっていることです。モデル提供各社は素早く自分たちが最高だと証明したい、人々はそれに乗り換える、そして足元をすくわれる、という流れです。
- hglaser
Opus 5と比べてタスクあたりのコストが半分、high effort同士の比較で。これは本当に嬉しい。
編集: https://artificialanalysis.ai/models/claude-opus-5-5?models=...
- cmiles8
これは、こうした基盤モデルがオープンウェイトモデルよりほんの少し優れているだけなのに、約100倍のコストがかかることを引き続き示しています。テックの歴史は「十分良い」が「最高」を一日中ランチに食ってしまう話で溢れています。大手ラボが早急に実行可能なビジネスプランを打ち出さない限り、AIも例外ではないように見えます。
99%のフォーカスされたケースにとって十分良いものの100倍の価格がする最高のモデルを持っていても、得られる賞はありません。
- linuxrebe1
これは期待しています。私はOpus 5ではなくOpus 4.8を使う方に戻っていました。単純に4.8の方が5よりも自分が何をしているかを覚えていて指示に従うのがずっと上手いからです。5は問題を解いている途中で道を見失い、問題に対処するのではなく脱線してしまうことがよくあり、途中で止めなければならないことがよくありました。その点で4.8はずっと安定していました。
- mchusma
「High」が使うべきもののように私には見えます。
https://artificialanalysis.ai/models/claude-opus-5-5-high
多くのベンチマークはhigh以降で頭打ちになり始めますが、これはFableよりも良いベンチマーク結果で、私の初期テストでも非常によく機能しています。
- andrewt21
Max推論は私も行き詰まるようでした。デフォルトはMediumにしていて、タイトなループでも長めの実行ループでもかなりうまく機能しているようです。
- dverlaeckt80
こうしたベンチマークがまだどれほど有用なのか疑問に思い始めています。これらのモデルはみんな、こうしたベンチマークで高得点を取るように訓練されているのではないでしょうか？
いずれにせよ指標にはなりますが、私は実際のユーザーからのリアルワールドのフィードバックをますます重視するようになっています。個人プロジェクト（音声入力タイピング voicewink.app）を持っていて、Claude CodeとCodexのコーディングハーネスの両方を使い、複数のエージェントに同じコードのレビューをさせています。
これにより、実際の作業で比較できる具体的な結果が得られました。結論: GPT-6、Opus 5 / Fable、Grokが「トップティア」で、Claudeは計画と実行が得意、Codex / Gpt-6はバグの発見と修正がより得意（ただし過剰設計になりがち）、そしてGeminiとKimi 3は能力では明らかに後れを取っています（私の意見ではベンチマークが示す以上に）。
何か意見はありますか？