iPhone 17 Proのオンデバイス推論性能を検証：ポケットサイズAIの実力

Benchmarking Pocket-Scale Inference

Artificial Analysisが、スマートフォン上で動作する小規模モデルの推論性能を比較する新たなベンチマークを公開。iPhone 17 Proを例に、エンドツーエンドの生成時間と平均スコア（BFCL、IFBench、AA-Omniscience、GPQA Diamond、MATH-500の5評価の平均）を測定し、ポケットサイズのデバイスでどこまで高度なAIタスクを処理できるかを示す。16Kトークンのコンテキスト制限や、モデルがデバイスに収まらない場合の測定省略など、モバイル推論の現実的な制約も浮き彫りにする。