ローカルAIはクラウドの1.4倍効率的、電力あたりの知能を測定
Intelligence per Watt: Measuring Intelligence Efficiency of Local AI
LLMクエリの大半はクラウドのフロンティアモデルが処理しているが、20B以下のローカルLMが競争力を持ち、Apple M4 Maxなどで対話的に動かせるようになった。本研究は「電力あたりの知能（IPW）」を提案し、20以上のローカルLM、8種のアクセラレータ、100万件の実クエリを評価。ローカルLMは88.7%を正答し、2023〜2025年でIPWは5.3倍改善、ローカルで処理可能な範囲は23.2%から71.3%へ拡大した。
ローカルアクセラレータは同一モデルを動かすクラウドアクセラレータより少なくとも1.4倍低いIPWを達成し、ローカルアクセラレータ最適化に大きな余地があることを示している。
HNでの議論
65- jmiskovic
信じられないほど重要な研究だ。ローカルLLMが十分に使えるレベルに達したという点に、我々はついに到達したのだ！ローカルモデルがあなたのタスクに対して最初のアクションを起こすまでの時間は、Claudeがあなたのログインを検証し、キューに入れてコマンドの発行を始めるまでの時間よりも短い。ローカルモデルは永続的で、どんなクラウドサービスとも違って100%予測可能だ。需要が分散されることは電力システムにとっても良い。冬の間は、GPUは300Wの室内ヒーターとしても二役をこなす。個人データの収集や転売を避けられることは言うまでもない。
- WASDx
最近「コストあたりの知能」の歴史的推移を計算しようとしたが、知能は線形ではないと気づいてやめた。意味のある「yあたりのx」というものは、効率が半分のシステムがあれば「y」を倍にするだけで同じ結果が得られるが、いわゆる知能はそういうふうには機能しない。
- surprisetalk
私はこの論文はかなり好きだが、彼らのベンチマークが「知能」を測定していると言うのは寛大すぎると思う。
[0] https://arxiv.org/pdf/1911.01547
知能とは何か、ましてやそれをどう測定するのか、我々にはまったく見当もつかない。
- scottcha
とてもクールな論文で、ローカルサービングに関していくつか興味深い点がある。とはいえ少し比較条件が揃っていないものの、クラウド側でこれがどう見えるかに興味があれば、当社のサービス上の全モデルのライブ電力統計をここで公開している https://portal.neuralwatt.com/energy-pricing 。ちなみにDSV4.1 flashはそのIPWのおかげで本当に人気が出てきている。
モデルルーティングのようないくつかの項目は、セッション単位ではなくリクエスト単位で行うと、クラウドではエネルギーとコストの観点から破綻する可能性がある。というのも、両者にとって最善のことの一つはKVキャッシュを維持することであり、それはエネルギーの時間成分と、かなり高コストなprefillのエネルギーをどちらも削減するからだ。
私はキャッシュを意識したローカル/クラウドのハイブリッドサービングという未来に期待している。それはAIにとってエネルギー資源の最良の使い方になり得ると思う。
- polotics
何か見落としているのだろうか、それともこの記事は彼らのM4-MaxがどれだけのRAMを積んでいたかを示す気が一切ないのだろうか？