Artificial Analysis Intelligence Index v5、首位はClaude Opus 5.5——オープンウェイトとの差は3点から12点に拡大
Artificial AnalysisがIntelligence Index v5を公開。2つの新ベンチマークと3つの刷新を盛り込み、Indexの60%が非公開データセットに基づく初めての版となった。首位はClaude Opus 5.5（max）の58で、GPT-6 Astra（max、57）とGPT-6.1 Sol（max、55）が続く。オープンウェイト最上位はKimi K3.1 Proの46だが、公開済みモデルに限るとDeepSeek V4.1 Flash 1017とGLM-5.3が32で首位から26点差。タスクあたりコストは上位モデル間で13倍以上開く。
オープンウェイトモデルはv5でさらに後れを取った。最上位のKimi K3.1 Pro（ウェイト未公開）は46で首位から12点差、v4.3ではその差は3点だった。
HNでの議論
80- peri-cl
この記事は、彼らが新しいベンチマークからいくつかのオープンウェイトモデルをひっそりと削除したことを開示していない。しかも人気のあるモデルだ。チャートには載っておらず、手動でチャートに追加することもできず、個々のモデルページにはスコアが「N/A」と表示されるようになっている。
GLM 5.3-flash: N/A
https://artificialanalysis.ai/models/glm-5-3-flash/
Qwen 3.8-flash-next: N/A
- simonjgreen
投稿をお気に入りに登録したのにupvoteしなかったのは、たぶんこれが初めてだ。
これは本当に怪しい。AAには、どんな問題を修正する必要があると感じたのか、なぜ順位がこのように入れ替わったのかについて、もっと詳しい説明と「見解」を聞きたい。それに、順位がこんなに簡単に入れ替わるなら、自分たちのインデックスに妥当性があるとどうして主張できるのかも。
- kamov
多言語インデックスにおける自然言語の選択は、かなり奇妙で偏っているように思える。アジアの言語を幅広くカバーしようとしたのに、ヨーロッパのロマンス語が4つも入っている。スラブ系の言語（ロシア語など）も、北欧系の言語（スウェーデン語など）も、フィン・ウゴル系の言語も含まれていない。しかもこれらのロマンス語は、どのみち学習データで過剰に代表されているだろう。
- chvid
「FrontierCodeの検証器は、各試行をタスクのテストとルーブリックで採点する。我々はLLMの審査員としてGPT-6 Luna（medium）を使用している」
なぜクローズドソースのLLMを審査員として使うのか？クローズドソースのプロバイダーはあなたのトラフィックを見ることができ、好きなように調整できるのに。
- lousken
アメリカのラボにこれほど媚びへつらうのは恥ずかしい。しかもそれらのモデルはリリース後数日しか性能を発揮しない。オープンウェイトなら、あのクローズドソースのクソとは違って品質が変わらないと確信できる。しばらくしてから再テストしてみてはどうか？