MIT und Adobe verleihen Sprachmodellen horizontale Latent-Ströme – und senken die Perplexität
Latent Lattice Language Models
Statt tiefere oder verschachtelte Schichten zu stapeln, erhöhen die Forscher von MIT und Adobe die Zahl der aktiven Rechenzustände: Ein „Lattice of Latents“ hält pro Schicht horizontale Latent-Ströme, die über die Token hinweg bestehen und die Attention, KV-Cache-Schreibvorgänge, MLP-Berechnung und das Decoding direkt beeinflussen. Ein 406M-Parameter-Modell senkt die Validierungs-Perplexität auf 20B FineWeb-Edu-Token von 15,41 auf 14,40 – und lässt sich mit Hyper-Connections, Gated DeltaNet und Mamba-2 kombinieren.
Diese Ergebnisse weisen persistenten Zustand pro Schicht als eine komplementäre Achse für die Skalierung der Berechnung von Sprachmodellen aus.