microGPT-C erreicht 10 Millionen Tokens pro Sekunde auf dem Apple M5

Microgpt in pure C hits 10M tps on Apple m5

microGPT-C ist ein minimalistisches GPT, das in reinem C ohne Abhängigkeiten geschrieben ist. Es trainiert und inferiert einen Character-Level-Transformer in einer einzigen C-Datei und erreicht auf einem Apple M5 Pro 10,168,430 Tokens pro Sekunde mit NEON-Backend. Das Modell hat nur 4.192 Parameter und generalisiert besser als ein interpolierter Trigramm-Ansatz mit fast fünfmal so vielen Parametern. Es läuft auf macOS, Linux und Windows und unterstützt NEON- und AVX2-Beschleunigung.