PSSA: Ein Nicht-Transformer-Sprachmodell, von Grund auf in Rust geschrieben, lernt schneller und läuft 12-mal flotter
PSSA: A non-transformer language model written from scratch in Rust
PSSA ist ein rekurrentes State-Space-Sprachmodell, das ohne PyTorch oder TensorFlow komplett in Rust implementiert wurde. Auf WikiText-103 mit 1,5 Mio. Parametern erreicht es eine Trainings-Cross-Entropie von 3,98 gegenüber 4,43 bei einem parametergleichen Transformer und generiert 200 Tokens in 226 ms statt 2.735 ms auf derselben CPU. Es nutzt einen festen Zustand, einen episodischen Speicher mit 512 Slots und plastische Gewichte, die zur Laufzeit angepasst werden. Die Autoren betonen den Prototyp-Charakter und suchen vor allem Rechenleistung für größere Experimente.
Bei gleichen Parametern und demselben Korpus lernt es schneller als ein Transformer und generiert Text auf derselben CPU etwa zwölfmal schneller.