iPhone 17 Pro 端侧推理性能实测
Benchmarking Pocket-Scale Inference
Artificial Analysis 发布了针对移动设备的推理系统基准测试，重点评估了 iPhone 17 Pro 在运行小型模型时的表现。测试涵盖了 BFCL、IFBench、GPQA Diamond 和 MATH-500 等五个关键维度，模拟了真实的 16K 上下文场景。数据揭示了在端侧硬件上，模型智能得分与端到端生成时间之间的权衡关系，特别是处理 1024 个 token 提示并生成 256 个 token 响应所需的实际耗时。这项研究为开发者在便携式设备上部署 AI 模型提供了宝贵的性能参考，展示了当前移动芯片在平衡算力与效率方面的真实水平。
端到端生成时间是处理 1024 个 token 提示并生成 256 个 token 响应所需的总挂钟时间。
HN 评论区
18- N_Lens
Apple 在消费级硬件上对 RAM 一直抠抠搜搜。RAM 价格预计将持续上涨，有分析师认为甚至会涨到 2030 年，这将使得制造下一代具备足够内存以运行有意义的 ML 工作负载的手机变得更加困难。
我希望当前的芯片经济学能出现某种反转，因为我热爱分布式、去中心化和私有的计算，但目前基于云的 LLM 推理似乎要可行得多。我在短期内看不到本地 LLM 在通用场景下真正可行的可能性。
- codemog
有人能给我拆解一下，这些模型和 GPT-4 或 GPT-4o 相比到底怎么样吗？很好奇几年前那些处于前沿水平的模型现在是否能在手机上运行。
- HawtAds
这个基准测试不错，但它非常偏向旗舰机型，也就是说，如果你试图发布生产环境的移动应用，它在实践中用处并不大。Apple 在 RAM 方面历来极其吝啬，直到最近（很可能是由于 ML 的需求）他们才费心给 iPad 和 iPhone 增加内存。你那个疫情时代的第 10 代 iPad 基础款只有 4GB RAM。
Android 生态系统在 RAM 方面要大方得多，因为他们的 Dalvik VM JIT（他们的 Java Android 运行时，部分 AOT 编译，部分 JIT）设计在内存效率上并不特别高。但 Android 的主要问题在于，其中低端机型（想想 Samsung Galaxy A 系列、OnePlus Nord 系列、Motorola G 系列等）在单核计算性能方面与 iPhone 相比非常低效，一旦考虑到能效比，情况就更糟了。运行 Snapdragon 旗舰芯片的高端 Android 旗舰机（尤其是收购 Oryon 之后）在原始算力上完全能够匹配甚至超越 Apple 的硬件，但它们非常耗电。
归根结底，当前这一代“口袋级”LLM 距离在移动端大规模部署还差得远。也许再过一两年，等 RAM 价格跌得足够低，且手机制造商在 SoC 中集成更多 matmul 和内存电路，而不是那个内存不足、几乎无法运行任何有用任务的微型“NPU/张量处理器”时，情况才会好转。[…]