iPhone 17 Pro 端侧推理性能实测

Benchmarking Pocket-Scale Inference

Artificial Analysis 发布了针对移动设备的推理系统基准测试，重点评估了 iPhone 17 Pro 在运行小型模型时的表现。测试涵盖了 BFCL、IFBench、GPQA Diamond 和 MATH-500 等五个关键维度，模拟了真实的 16K 上下文场景。数据揭示了在端侧硬件上，模型智能得分与端到端生成时间之间的权衡关系，特别是处理 1024 个 token 提示并生成 256 个 token 响应所需的实际耗时。这项研究为开发者在便携式设备上部署 AI 模型提供了宝贵的性能参考，展示了当前移动芯片在平衡算力与效率方面的真实水平。