Apple destilliert Transformer-Wissen in Mamba – ohne einen einzigen Attention-Block
Attention to Mamba: A Recipe for Cross-Architecture Distillation
Mamba-Modelle sind schneller und speichereffizienter als Transformer, doch eine naive Destillation vom Teacher zum Studenten scheitert. Apples Forschende schlagen einen zweistufigen Weg vor: erst wird der Transformer über einen angepassten Kernel-Trick in linearisierte Attention überführt, dann in ein reines Mamba-Modell. Das Ergebnis erreicht mit Perplexity 14,01 fast die 13,86 des Pythia-1B-Teachers – mit kleinen Lücken bei Aufgaben, die stark auf In-Context-Recall setzen.
Durch eine prinzipiengeleitete Initialisierung von Mamba lässt sich ein insgesamt besserer Rezept für architekturübergreifende Destillation gewinnen.
- buildbot
Meiner Meinung nach ist ein besserer und umfassenderer Blick auf eine ähnliche Idee für alle State-Space-Attention-Typen dieses Paper von AWS: https://arxiv.org/abs/2605.08301
- kooi
Cool, ich mag State-Space-Modelle, weil sie sich so anfühlen, als würden sie der Kraft von Kontrolle und Modellierung für lineare dynamische Systeme die gebührende Ehre erweisen. (Mamba ist eine Reihe zeitvariabler linearer Systeme, die durch nichtlineare Aktivierungen verkettet sind.)
Ich lese gerade eines der OG-Paper und hier sind ein paar interessante Häppchen. Ich frage mich, wie viel der Inferenz in Rechenzentren mit traditionellen Transformern vs. SSM gemacht wird, denn die Effizienzgewinne sind ziemlich dramatisch.
> Wir schlagen eine neue Klasse selektiver State-Space-Modelle vor, die frühere Arbeiten in mehreren Achsen verbessert, um die Modellierungsleistung von Transformern zu erreichen und dabei linear in der Sequenzlänge zu skalieren.
> Unser Mamba-Sprachmodell hat 5x den Generierungsdurchsatz im Vergleich zu Transformern ähnlicher Größe, und die Qualität von Mamba-3B entspricht der von Transformern mit doppelter Größe.
Dann, interessanterweise für das Training:
> Üblicherweise verwendet das Modell [SSM] den konvolutionalen Modus (3) für effizientes parallelisierbares Training (wobei die gesamte Eingabesequenz im Voraus gesehen wird) und wechselt in den rekurrenten Modus (2) für effiziente autoregressive Inferenz (wobei die Eingaben jeweils einen Zeitschritt lang gesehen werden).
- vlovich123
Nur 1B-Modell. Keine Angabe, ob dies weiter auf größere Modelle skaliert / wie das von der Mamba-Seite aussieht.
> Dies überträgt sich weitgehend auf nachgelagerte Aufgaben, obwohl einige Lücken bei Aufgaben auftreten, die stärker auf In-Context-Recall angewiesen sind
Und ja, die berühmte Achillesferse der SSMs – schlechter Recall.