Warum wir unsere eigenen C- und C++-Inferenz-Engines schreiben

Why we write our own C and C++ inference engines

LocalAI setzt bei 18 Backends auf eigene C/C++-Portierungen statt auf das Umwickeln bestehender Engines. Der Grund: Oft ist die Python-Abhängigkeit schwerer als das Modell selbst, oder es gibt gar keine C++-Implementierung. Die Vorteile: eine einzelne Datei statt eines Multi-Gigabyte-Installationspakets, vorhersagbarer Speicherverbrauch und in einigen Fällen sogar höhere Geschwindigkeit. Beispielsweise ist vllm.cpp, ein Port von vLLM, bei gleicher Token-Ausgabe bis zu 4,5 % schneller im Single-Stream-Betrieb und benötigt nur 66 MiB statt 9,1 GiB. Andere Ports wie depth-anything.cpp übertreffen PyTorch auf der CPU um das 1,31-fache, während face-detect.cpp und voice-detect.cpp Parität erreichen, aber deutlich weniger Speicher benötigen. Die Methode: zuerst Gewichte konvertieren, dann den Graphen portieren und Komponente für Komponente gegen Referenz-Tensoren testen, erst danach optimieren und eine flache C-ABI bereitstellen. Der Preis ist vor allem Wartungsaufwand, insbesondere bei GPU-Kerneln.