iPhone 17 Proのオンデバイス推論性能を検証：ポケットサイズAIの実力
Benchmarking Pocket-Scale Inference
Artificial Analysisが、スマートフォン上で動作する小規模モデルの推論性能を比較する新たなベンチマークを公開。iPhone 17 Proを例に、エンドツーエンドの生成時間と平均スコア（BFCL、IFBench、AA-Omniscience、GPQA Diamond、MATH-500の5評価の平均）を測定し、ポケットサイズのデバイスでどこまで高度なAIタスクを処理できるかを示す。16Kトークンのコンテキスト制限や、モデルがデバイスに収まらない場合の測定省略など、モバイル推論の現実的な制約も浮き彫りにする。
エンドツーエンドの生成時間は、使用するハードウェアとモデルのアーキテクチャに根本的に依存し、モデルの冗長性やターン数の傾向は含まれない。
HNでの議論
18- N_Lens
Appleはコンシューマ向けハードウェアのRAMにずっとケチだった。アナリストの中には2030年までRAM価格が上がり続けると言う人もいて、そうなると意味のあるMLワークロードに十分なメモリを備えた次世代スマホを作るのが難しくなる。今のチップ経済に何か逆転が起きてほしい。分散・民主化・プライベートなコンピューティングが好きだからね。でも現状では、クラウドベースのLLM推論の方がずっと現実的だ。近い将来、一般的なユースケースでローカルLLMが現実的に使えるようになるとは思えない。
- codemog
誰か、これらがGPT-4やGPT-4oと比べてどれくらい優れているか、内訳を教えてくれないか？数年前のフロンティアが今やスマホで動くのか気になる。
- HawtAds
ベンチマークはいいけど、フラッグシップにかなり偏っていて、実用的にはあまり役に立たない。特に本番のモバイルアプリを出そうとしているならね。Appleは歴史的にRAMに非常にケチで、最近までiPadやiPhoneにRAMを多く載せることをほとんどしてこなかった（おそらくMLの要求のせい）。コロナ時代の第10世代iPadのベースモデルはRAMが4GBしかない。AndroidエコシステムはRAMに関してはるかに寛大だ。なぜなら、Dalvik VM JIT（Java Androidランタイムで、一部AOTコンパイル、一部JITコンパイル）の設計が特にメモリ効率が良くないからだ。しかしAndroidの主な問題は、ミッドレンジやローエンド（Samsung Galaxy Aシリーズ、OnePlus Nord、Motorola Gなど）がシングルコアの計算性能でiPhoneに比べて非常に非効率で、電力効率を考慮するとさらに悪化する。ハイエンドのAndroidフラッグシップでSnapdragonエリート（特にOryon買収後）を搭載したものは、生のパワーではAppleのハードウェアに匹敵するか、それを上回ることもあるが、消費電力がはるかに大きい。結局のところ、現世代の「ポケットサイズ」LLMは、モバイルで大規模に展開できるにはまだ程遠い。おそらくあと1、2年、RAM価格が十分に下がり、モバイルメーカーがSoCに、何も役に立たない小さな「NPU/テンソルプロセッサ」ではなく、もっと多くの行列乗算回路とメモリ回路を組み込むようになれば、状況は変わるかもしれない。……