iPhone 18 跑通 Qwen3.8-27B，速度惊人

Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)

在 iPhone 18 的 Apple Neural Engine 上，Qwen3.8-27B 模型成功实现了本地运行。通过采用 int8 量化 K/V 缓存并保留 FP16 的 Delta net，系统不仅支持 24K 上下文窗口，解码速度更在简单语境下飙升至 70 tok/s。结合 dflash-2 草稿模型与 1.5 bpw 的极致量化，这一突破证明了移动端 AI 算力已能承载数十亿参数的大模型，让端侧智能推理成为现实。