Ein 8-Dollar-ESP32-S3 trainiert einen Transformer von Grund auf
An SLM trained on $8 ESP32-S3
Das Qapla'-Projekt trainiert einen 319.000-Parameter-Transformer direkt auf einem ESP32-S3 – komplett in C geschriebenes Backprop, ohne GPU oder Cloud. Der Chip lernt Klingonisch aus einem kleinen, freien Korpus und beweist, dass echtes Training auch auf einem Mikrocontroller möglich ist. Das Experiment zeigt, wie ein winziges Gerät Sprachen lernen kann, wenn die Daten erst vor Ort entstehen.
Der Chip beginnt mit zufälligen Gewichten und ohne Vorkenntnisse über Klingonisch und lernt von Grund auf – das ist echtes Lernen, kein Modell, das woanders gekocht und hier serviert wird.