Next-Concept Modeling erzeugt Text 31-mal schneller als Diffusion-Modelle
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
Diffusion Language Models (DLMs) generieren parallel, verlieren aber bei wenigen Sampling-Schritten schnell an Qualität. Next-Concept Modeling (NCM) von Hermann Kumbong und Kollegen setzt auf ein zweistufiges Coarse-to-Fine-Verfahren: Ein multiskaliger Residual-VQ-VAE kodiert Text in eine Hierarchie diskreter Codes, ein Transformer erzeugt Ebene für Ebene und sagt alle Codes einer Ebene parallel voraus. Bei vergleichbarer Modellgröße erreicht NCM auf LM1B eine bessere generative Perplexity als der stärkste DLM-Baseline – bei 21-facher Geschwindigkeit. Auf XSum hält es dessen ROUGE-L bei 31-facher Geschwindigkeit, und bei Sudoku schlägt es autoregressive wie Diffusion-Baselines auf allen Schwierigkeitsstufen mit weniger Funktionsauswertungen.
Bei vergleichbarer Parametergröße erreicht NCM auf LM1B eine bessere generative Perplexity als der stärkste DLM-Baseline und läuft dabei 21-mal schneller.
- pinyen_cheng
Das ist ziemlich innovativ. Aber ein brandneuer Tokenizer und eine neue Trainingsmethode erfordern viel Aufwand für das Neutraining. Ob es sich breit durchsetzen wird, hängt von der tatsächlichen Frontier-Performance ab, die es erreichen kann.
- OOTY00TYOO
Wenn wir die Hardware nicht schnell genug bauen können. Kann mir jemand erklären, warum anscheinend 50 % der GPUs und des Speichers, die Hyperscaler kaufen, wegen fehlender Rechenzentren in Lagern liegen? Die Hyperscaler horten Technik und können sie nicht einmal nutzen. Das ist lächerlich.
- swiftcoder
Wer wird ein schönes großes Coding-Modell darauf basierend trainieren? Ich habe nicht die GPUs dafür ...
- siamaksalman
Ich versuche, es zum Laufen zu bringen, bisher kein Glück
- cubefox
Das sieht sehr interessant aus. Ihr neues Sprachmodellierungsziel zeigt einige große Verbesserungen gegenüber Masked Diffusion Modeling. Allerdings vergleichen sie kaum mit dem herkömmlichen Next-Token-Prediction-Ziel, was darauf hindeutet, dass sie es nicht schlagen, außer bei stark nichtlinearen Aufgaben wie Sudoku. Leider neigen Machine-Learning-Papers oft dazu, sich ausschließlich auf die positiven Aspekte zu konzentrieren, ohne schlechte Aspekte zu erwähnen.