macOS虚拟机LLM推理提速16倍

Apple Silicon and macOS VMs: 11–16× Faster LLM Inference with Llama.cpp

我们利用Apple Silicon和macOS虚拟机，通过一个小型的进程级兼容性层，成功解锁了Metal的更快路径。在M1 Ultra上，使用llama.cpp运行TinyLlama时，提示处理速度提升了11倍，令牌生成速度提升了16倍。对于Gemma 4 12B模型，提示处理速度也提升了7.2倍。这一成果无需修改内核或进行物理GPU直通，仅通过调整虚拟GPU报告的Metal能力参数，就让虚拟机中的LLM推理性能接近裸机水平。