PSSA: Ein Nicht-Transformer-Sprachmodell, von Grund auf in Rust geschrieben, lernt schneller und läuft 12-mal flotter
PSSA: A non-transformer language model written from scratch in Rust
PSSA ist ein rekurrentes State-Space-Sprachmodell, das ohne PyTorch oder TensorFlow komplett in Rust implementiert wurde. Auf WikiText-103 mit 1,5 Mio. Parametern erreicht es eine Trainings-Cross-Entropie von 3,98 gegenüber 4,43 bei einem parametergleichen Transformer und generiert 200 Tokens in 226 ms statt 2.735 ms auf derselben CPU. Es nutzt einen festen Zustand, einen episodischen Speicher mit 512 Slots und plastische Gewichte, die zur Laufzeit angepasst werden. Die Autoren betonen den Prototyp-Charakter und suchen vor allem Rechenleistung für größere Experimente.
Bei gleichen Parametern und demselben Korpus lernt es schneller als ein Transformer und generiert Text auf derselben CPU etwa zwölfmal schneller.
- JPLeRouzic
Ich habe irgendwo gelesen, dass die Transformer-Architektur quadratische Kosten hat [0] (was die hohen Kosten im Zusammenhang mit LLMs erklärt und die Schwierigkeit, ohne State-Size-Tricks ständig Verbesserungen zu erzielen).
Soweit ich verstehe, gehört PSSA zu einer Forschungsrichtung für LLMs mit skalierbarer Architektur, weil man nicht das gesamte KV im Speicher laden muss, um ein einzelnes Token zu generieren:
[0] https://aclanthology.org/2023.findings-emnlp.936/
https://arxiv.org/abs/2503.00392
https://papers.nips.cc/paper_files/paper/2023/hash/6ceefa7b1...
- prospero_
Anscheinend hat keiner der Leute, die sich über Rust beschweren, über den Titel hinausgelesen, denn es ist der zweite Abschnitt des Readme und unmöglich zu übersehen.
- janalsncm
OP, du hättest das nicht in Rust schreiben sollen. Es sollte in PyTorch sein, das mit Abstand am beliebtesten ist. Wir können nicht sagen, ob diese Architektur gut ist oder ob es ein Problem in deiner Implementierung gibt.
Du kannst das Ganze kostenlos auf einer GPU mit Google Colab testen. Teste sowohl den Transformer als auch deine neue Architektur auf einem größeren Datensatz. Etwas, das die GPU für jeweils eine Stunde pro Durchlauf auslastet.
Außerdem erwähnt das Readme, dass derselbe Optimizer-Zeitplan beibehalten wird, was zunächst nett klingt, aber es sind völlig unterschiedliche Architekturen. Der Loss ist beim Transformer hoch – hast du versucht, die Learning Rate dafür zu erhöhen?
Generell interessiere ich mich für parameter-effiziente Architekturen. Ich denke nicht, dass Transformer optimal sind, und tatsächlich wurden viele Verbesserungen an Vanilla-Transformern vorgenommen. Aber wenn du eine Idee für etwas Besseres hast, musst du sie zeigen.
- mllev15
Man merkt einfach, wann die Idee selbst generiert wurde
- a19486
Der Homie hatte einfach ein paar Token, die er am Monatsende verbrennen musste, und „in Rust“ ist reines HN-Clickbait.