Gemma 4 26B läuft mit 5 Tokens pro Sekunde auf einem 13 Jahre alten Xeon ohne GPU

Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU

Ein umfunktionierter HP StoreVirtual-Server mit zwei Ivy-Bridge-Xeons aus dem Jahr 2013 und ohne GPU schafft es, Googles Gemma 4 26B (MoE) mit etwa 5 Tokens pro Sekunde auszuführen. Der Autor zeigt, wie er mit Hilfe von Claude die AVX2-spezifischen Optimierungen des ik_llama.cpp-Forks umging und einen stillen Fehler behob, der zu unsinnigen Ausgaben führte. Das Ergebnis ist ein Patch, der das Modell auf alter Hardware lauffähig macht – ein Beispiel dafür, wie man mit begrenzten Ressourcen lokale KI betreibt.