Artificial Analysisの新指標v5は、なぜオープンモデルを過小評価してしまうのか
Artificial Analysis v5 and the benchmarker's dilemma
Artificial AnalysisがIntelligence Index v5を公開した。知識労働・コーディング・科学・一般を各25%で重み付けし、単一スコアに集約する設計だ。だが実世界の用途はモデルと同じくらいギザギザで、科学系評価ではオープンモデルが大きく後れを取る。ベンチマークは常に何かを犠牲にする。独立評価機関は1兆ドル市場の勝敗を左右する立場にあり、その数字には解釈の余地が大きく残る。
ベンチマーク業界は結局のところ信頼に帰着する。私はArtificial Analysisにかなりの信頼を置いているが、エコシステム内で誰よりも信頼しているわけではない。
HNでの議論
32- lordofgibbons
AAのベンチマークには、実際に人々が使っているreasoning effortでモデルを評価してほしいと思う。例えば、僕の知る限り、「max」のreasoning設定を使う人はほとんどいない。特にClaude Code自体がそれを使うのを躊躇させるからね。でも、こうしたコーディング系ベンチマークはすべて、まさにそのreasoning effortを前提にしている。
言いたいことは分かる。ベンチマークできる量には限りがある。でも、モデルの最良ケースではなく、実際にどう使われ、顧客に提供されているかのベンチマークのほうが見たいんだ。
- matesz
「最後に指摘しておきたい点は、クローズドラボに都合よく働くものだが、AnthropicやOpenAIのような企業は何ヶ月も、あるいは何年も前からこうした指標を気にするのをやめているということだ。彼らの焦点の大部分は、AI R&Dの自動化のような社内用途や、何十億ドルも使っている顧客のユースケースを支えることにある。」
これは本当だろうか？もし本当なら、とても納得がいく。何度も、新しく公開されたオープンウェイトモデルを試しては失望してきた。ベンチマークの知能スコアでは劣っていても、古いClaudeモデルのいくつかが回答の品質では勝っているのだ。
- chvid
AAはどうやって稼いでいるのか？投資家は誰なのか？
- pcwelder
必要なのは透明性だけだ。基準を変えるのは構わないが、いつ変えるのかというトリガーを事前に登録しておいてほしい。
例えば、上位N個のモデルが互いに2ポイント以内に収まったらX基準を更新する、といった具合に。
- anon373839
AAはほんの数週間で方法論を2度も劇的に変えている。もはや彼らの複合スコアに有用性があるとはとても思えない。要するにLLM版のUS News大学ランキングだよ。
当面は、LiveBenchのほうがより校正されたシグナルを提供しているように見える。