为什么我们自研 C++ 推理引擎

Why we write our own C and C++ inference engines

大多数 LocalAI 后端只是封装了别人的引擎，但这并非总是最优解。我们亲手从零编写了 18 个 C 或 C++ 后端，只为摆脱 Python 依赖和庞大的 CUDA 栈。以 vllm.cpp 为例，它将 9.1 GiB 的 Python 环境压缩为 66 MiB 的二进制文件，性能却与原生 vLLM 持平。在 depth-anything.cpp 中，通过缓存位置嵌入，CPU 推理速度比 PyTorch 快 1.31 倍，内存占用仅为 27%。我们的原则很明确：先确保与参考实现完全一致，再追求速度。虽然维护成本高昂，但当模型缺乏 C++ 实现或 Python 依赖过重时，自研引擎是唯一的出路。