Ferrox：用 Rust 打造媲美 llama.cpp 的推理引擎

Building a Rust Inference Engine That Matches Llama.cpp

我最近花了几天时间构建了 Ferrox，这是一个纯 Rust 编写的本地 LLM 推理引擎，支持 CPU、Apple Metal 和 CUDA，无需依赖 llama.cpp 或 ggml。从内核到调度器，所有代码都是从头手写。我这么做的原因很简单：我想深入理解推理的底层细节，而不是仅仅运行二进制文件，并且希望每一个性能声明都能在与 llama.cpp 的实测对比中经得起推敲。Ferrox 加载 GGUF 文件，提供 CLI 和兼容 OpenAI API 的服务器模式。在 Apple M2 Pro 上，Ferrox 在 Llama-3.1-8B 模型上的表现甚至略优于 llama.cpp，证明了其架构优化的有效性。