Claude Fable 5.2がArtificial Analysisで65点、これまでの最高スコアを記録
Claude Fable 5.2 Scores 65 on Artificial Analysis, Highest So Far
Artificial AnalysisのIntelligence Index v5.0.1で、Claude Fable 5.2（max）が65点を獲得し、これまでの最高記録となった。同インデックスはAA-BriefcaseやTerminal-Bench 4.0、HLE-Diamondなど9つの評価を組み合わせたもの。知能指数とタスクあたりのコストの関係やトークン使用量、コンテキストウィンドウなどの分析も公開されている。
AA-Omniscience v1.1 Net Scoreは知識の信頼性とハルシネーションを測定する。正解には報酬を与え、ハルシネーションには罰則を課し、回答を拒否した場合には罰則を科さない。
HNでの議論
208- rgbrenner
スコアのことは忘れろ…タスクあたりのコストを見ろ。Fable 5.1はすでにかなりの差で最も高価だったのに、今度はFable 5.2がそれを倍にしている！しかもこれは値下げ後の話だ。
タスクあたりの出力トークン数が爆発している。5.1では118kトークン（回答46k/推論71k）だったのが、5.2では274kトークン（回答81k/推論192k）だ。
- oliwary
すごい！Fable 5.2（特にlowとmedium）は、タスクあたりの時間と知能の間のパレートフロンティア上にも位置しているようだ：https://artificialanalysis.ai/models?speed=output-speed-over...
私はいつもこの比較に興味がある。モデルとどれだけ素早くやり取りできるかがわかり、トークン/タスクとトークン/秒の両方を捉えているからね。新しいモデルはここで意味のある改善を見せているようだ。
- brachkow
Anthropicのモデルが、かなり有能なDeepSeek-Flashと比べてどれだけ高価かは狂っている。
彼らは文句なしに最高のモデルを作ったが、数パーセントの改善に対して100倍の価格は完全にでっち上げで、最終的には彼らにとって悪い結果になると思う。
- djacksondev
私にとってFableの役割は常にプランナーやプランレビュアーであり、個人や組織が主要なドライバーとして使うものではなかった。その場合、コストと引き換えにこれらの改善は価値があるように思える？理想的にはその役割では最高のパフォーマンスのモデルが欲しい。
現在の上昇が、その形態でもコスト的に prohibitive になっているかはわからない。
- schnitzelstoat
控えめな知能の向上に対して、コストの増加が異常に思える。
しかし、実際のタスクでのパフォーマンスはベンチマークよりも顕著になるかもしれない。
- t0md4n
Astraより8ポイント高いが、コストは4.2倍、出力トークンは5倍。それだけの価値はあるのか？
編集：highはmaxより良さそうだ
- gizmodo59
https://artificialanalysis.ai/#intelligence-efficiency-tabs これがほとんどの貧しい開発者や企業にとって重要なチャートだ。与えられた知能指数に対するパレートで、OpenAIだけが象限全体にまたがっていて、museが最下位のようだ。彼らは本当に効率的なモデルを調理している！
- GMoromisato
逸話的だが、私はモデルに2人のレビュアーが本について話すポッドキャストのスクリプトを、1章ずつ書かせている。
Fable（5.1と5.2）は一貫してOpus 5.5（4.5ページ）に比べてずっと短いスクリプト（2.5ページ）を書く。
Fable 5.2: https://claude.ai/share/274a96a8-c8a5-4564-9ca1-e914edffc722
Opus 5.5: https://claude.ai/share/da8ab6bd-0987-47dc-9c26-68ebbfb25781