microGPT en C puro alcanza 10M de tokens por segundo en Apple M5

Microgpt in pure C hits 10M tps on Apple m5

microGPT-C es la forma más atómica de entrenar e inferir un GPT en C puro, sin dependencias. Un transformador a nivel de caracteres con forward pass, backprop, Adam y muestreo en un solo archivo C, que entrena con ~32k nombres en segundos y genera nuevos. Alcanza 10,168,430 tokens por segundo en Apple M5 Pro con NEON y 6,927,775 en AMD Ryzen 5 5600H con AVX2. El modelo tiene 4192 parámetros y generaliza mejor que un trigrama interpolado.