LLMの知能とコスト：ArtificialAnalysisのプロットが誤解を招く理由と、正しい見方
LLMs: Intelligence vs. Cost
OpenTeamsのスタッフエンジニアであるGuido Imperiale氏が、ArtificialAnalysisの「Intelligence vs. cost」プロットの問題点を指摘し、自身で作成したプロットを紹介します。対数スケールの使用、公式API価格への依存、ローカルモデルのデータセンター価格表示といった問題を挙げ、より実用的なコスト比較を提供します。ローカル実行時の電力コスト計算方法も解説し、最上位モデルと中国製の安価なモデルとのコスト差が最大160倍に及ぶこと、知能の向上がコストに見合わないことを明らかにします。
知能スコア66でタスクあたり3.69ドルのFable 5.1と、知能60で0.49ドル（7.5倍安い）のGLM-5.3の違いを理解できるのはトップクラスのエンジニアや科学者だけだろうが、ほとんどの人にはその違いを認識するのは難しい。
HNでの議論
27- oliwary
これは素晴らしいですね！また、速度も指標の一部にすべきだと思います（つまり、モデルが実際にタスクを解くのにどれだけ時間がかかるか）。私の場合、軽い推論にはSolのような高価なモデルを実行するほうが好きで、通常は迅速な応答で良い答えが得られます。私のコーディングスタイル（素早いやり取りと修正）では、モデルが1〜2分で返ってくるのと5〜10分かかるのとでは大きな違いがあり、そのためには少し余分にお金を払っても構いません。
- themgt
AnthropicとOpenAIの最先端モデルと、はるかに安価な中国のモデルとの間には、コストに途方もない差があります。財布を空にすることで得られる追加の知能は、収穫逓減の法則に従います。トップクラスのエンジニアや科学者なら、Fable 5.1がどれだけ優れているかを理解できるでしょうが、ほとんどの人にはそれを理解するのは難しいでしょう。Nebariは、DoDのAI開発を支援する次世代ツールチェーンの一部として、正式にJATIC製品としてリストされています。私たちは、ケビン・ベーコンから1度の隔たりで、DoDが中国製OSSモデルを自己ホストだからという理由で実行することを公認しているのでしょうか？そして、私たちは皆、その違いを理解するにはあまりに愚かだから？https://openteams.com/open-source-isnt-the-real-risk-in-nati...
- datadrivenangel
線形と対数の切り替えができないという不満はもっともです。それが、最近のミートアップの講演で3Dの速度/コスト/品質フロンティアアプリケーションを作る際に私がやったことです：https://www.williamangel.net/apps/model_performance.html 速度は重要です。なぜなら、推論とハードウェアがコストと速度の両方を決定するからです。それは三次元のトレードオフです。