llama.cpp 在 Arm 上提速 6.5 倍

Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel

llama.cpp 在 Arm 架构上处理低比特量化模型时，提示词处理速度曾远落后于 x86。究其根源，是缺少针对 Arm 的 NEON 内核优化。这项研究通过引入基于 SDOT 指令的 tiled K-quant matmul 内核，在 Neoverse N1 等服务器核心上实现了最高 6.5 倍的加速。测试显示，IQ3_M 等格式的性能提升尤为显著，而生成速度保持不变。这一补丁仅增加了 164 行代码，却填补了关键的性能短板，为 Arm 设备运行大模型带来了实质性的效率飞跃。