Autoregressives Sprachmodell auf dem 6502-Prozessor
Autoregressive Language Model on the 6502 Processor
Ein Entwickler trainierte ein winziges Mamba-basiertes Sprachmodell und schrieb eine Inferenz-Engine, um es auf dem 8-Bit-6502-Prozessor von 1975 mit 32 KB RAM auszuführen. Das Modell läuft auf dem BBC Micro seines Vaters und erzeugt Text, wobei die Gewichte und der Code in 25 KB Benutzerspeicher passen. Trotz fehlender Multiplikationsinstruktion und 8-Bit-Integer-Operationen erreicht das System durch BitNet-Quantisierung (ternäre Gewichte) und eine rekursive Architektur eine bemerkenswerte Leistung. Der Beitrag beschreibt die technischen Herausforderungen und Lösungen, einschließlich der 16-Bit-Akkumulation und gelernter Skalierung.
Die einzige Möglichkeit, diese Instabilitäten zu vermeiden, besteht darin, die primäre Gewichtsmatrix in einer höheren Quantisierung (z. B. int4) zu speichern.