LLMの知能とコスト：ArtificialAnalysisのプロットが誤解を招く理由と、正しい見方
LLMs: Intelligence vs. Cost
OpenTeamsのスタッフエンジニアであるGuido Imperiale氏が、ArtificialAnalysisの「Intelligence vs. cost」プロットの問題点を指摘し、自身で作成したプロットを紹介します。対数スケールの使用、公式API価格への依存、ローカルモデルのデータセンター価格表示といった問題を挙げ、より実用的なコスト比較を提供します。ローカル実行時の電力コスト計算方法も解説し、最上位モデルと中国製の安価なモデルとのコスト差が最大160倍に及ぶこと、知能の向上がコストに見合わないことを明らかにします。
知能スコア66でタスクあたり3.69ドルのFable 5.1と、知能60で0.49ドル（7.5倍安い）のGLM-5.3の違いを理解できるのはトップクラスのエンジニアや科学者だけだろうが、ほとんどの人にはその違いを認識するのは難しい。
HNでの議論
42- oliwary
これは素晴らしいですね！また、速度も指標に含めるべきだと思います（つまり、モデルが実際にタスクを解くのにどれだけ時間がかかるか）。私の場合、Solのような高価なモデルを軽い推論に使うのが好きで、通常は迅速な応答で良い回答が得られます。
私のコーディングスタイル（素早いやり取りと修正）では、モデルが1〜2分で返ってくるのと5〜10分かかるのでは大きな違いがあり、そのためにもう少しお金を払っても構いません。
- themgt
AnthropicとOpenAIの最先端モデルと、はるかに安価な中国のモデルとの間には、コストに莫大な差があります。財布を空にして得られる追加の知能は、収穫逓減の法則に従います。トップクラスのエンジニアや科学者なら、Fable 5.1がどれだけ優れているかを評価できるでしょうが、ほとんどの人にはその違いを認識するのは難しいでしょう。
Nebariは、DoDのAI開発を支援する次世代ツールチェーンの一部として、正式にJATIC製品としてリストされています。
私たちは、中国製のOSSモデルがセルフホストされていて、私たちが違いを判断するにはあまりにも愚かだからという理由で、それらを実行することをDoDが公認しているという、ケビン・ベーコンから1度の隔たりにあるのでしょうか？
https://openteams.com/open-source-isnt-the-real-risk-in-nati...
- datadrivenangel
線形と対数の切り替えができないという不満はもっともです。最近のミートアップの講演で、3Dの速度/コスト/品質フロンティアアプリケーションを作るために、私はまさにそれをやりました：https://www.williamangel.net/apps/model_performance.html
速度は重要です。なぜなら、推論とハードウェアがコストと速度の両方を決定するからです。これは3次元のトレードオフです。
- akazantsev
> これはほとんどの場合問題ありませんが、オープンウェイトモデルの場合、同じモデルをサードパーティのAPIプロバイダーからレンタルするよりもはるかに高額になることがあります。
量子化でフィルタリングすれば、ほとんどのプロバイダーは同じ価格になります。オープンウェイトモデルにもある程度の「基本」価格があります。それより安いものは、プロバイダー側の何らかのトリックを意味します。
- vb-8448
「悪いチャート」と文句を言いながら、y軸が0から始まっていないチャートを投稿するのは、ちょっと変ですよね。