Entrena un transformer desde cero en un ESP32-S3 de 8 dólares

An SLM trained on $8 ESP32-S3

Qapla' es un proyecto que entrena un transformer de ~319K parámetros desde cero dentro de un ESP32-S3, sin GPU ni datacenter. El chip realiza todo el ciclo: forward, backprop escrita a mano en C y actualización de pesos. El modelo aprende klingon, un idioma con estructura real pero vocabulario acotado, y genera texto que respeta su morfología. La hazaña no son los parámetros, sino la memoria: entrenar requiere pesos, gradientes, momentum y activaciones a la vez. Un experimento que demuestra que el aprendizaje en el borde es posible incluso en hardware de 8 dólares.