Kontinuierliche Diffusions-Sprachmodelle feiern ihr Comeback
Continuous Diffusion Language Models (CDLM's)
Nach Jahren der Dominanz diskreter Diffusionsmethoden erlebt die kontinuierliche Diffusion für Sprache ein Revival. Dieser Beitrag analysiert die historische Entwicklung von 2021 bis heute: von frühen diskreten Ansätzen über die kurze Blüte kontinuierlicher Methoden bis zu ihrem Niedergang 2023, als Plaid-1B eine 64-fach geringere Trainingseffizienz aufwies. Der Autor erklärt die technischen Grundlagen – Embedding-Strategien, Verlustfunktionen, Noise Schedules und Self-Conditioning – und beleuchtet, warum kontinuierliche Methoden jetzt wieder an Bedeutung gewinnen. Ein subjektiver, aber fundierter Überblick über ein dynamisches Forschungsfeld.
Die 64-fach geringere Trainingseffizienz eines likelihood-basierten kontinuierlichen Diffusions-Sprachmodells (Plaid-1B) machte es zu jener Zeit schwierig, einen Ansatz ernst zu nehmen, dessen Trainingseffizienz fast zwei Größenordnungen schlechter war als eine autoregressive Baseline.
- janalsncm
> [im Jahr 2020/2021] war die Dominanz der Autoregression nicht so etabliert wie heute: GPT-3 hatte einige beeindruckt, aber der 'ChatGPT-Moment' sollte erst Ende 2022 kommen
Ich bin anderer Meinung. Decoder waren 2020 für Chat absolut dominant. GPT-2 galt als zu gefährlich, um es zu veröffentlichen, und ich erinnere mich, wie ich mich bemühte, auf die GPT-3-Warteliste zu kommen. Es funktionierte.
(Die einzige Ausnahme, die ich mache, sind Encoder-Decoder-Modelle, die heute oft nur noch aus Decodern bestehen.)
Aber was es zum Mainstream machte, war RL. Zuerst RLHF, dann andere Verbesserungen wie DPO, die weniger nervig einzurichten waren. Diffusion obendrauf zu packen, wäre noch nerviger.
Vor ChatGPT gab es nicht wirklich ein Konzept von Pre-Training und Post-Training. Es war alles Pre-Training. Post-Training war es, was die Bots gesprächig machte und nicht nur 'das fortsetzte, was du ihnen geschrieben hast'.
Kurz gesagt: Diffusion hat sich nie durchgesetzt, weil es nur eine kompliziertere Art war, Tokens zu erzeugen, und das eigentliche Problem darin bestand, Tokens in der richtigen Verteilung zu bekommen.
- 2001zhaozhao
Ich würde gerne Modelle sehen, die mit unterschiedlichen Geschwindigkeiten denken und auch einen Denk-Notizzettel parallel zum Ausgabetext ausgeben, anstatt vor der gesamten Ausgabe.
Derzeit müssen Modelle sich auf weniger lesbares, komprimiertes CoT verlassen, um hohe Intelligenz pro Token/Schritt zu erreichen, aber mit Diffusion müssten sie nur mehr Tokens pro Schritt ausgeben.
- p1esk
Es ist erfrischend, etwas zu lesen, das nicht von KI generiert wurde.
- vatsachak
Ich habe das Gefühl, dass es bei den autoregressiven LLMs immer noch leicht zu erreichende Früchte gibt; der Encoder
- Marchant_hq
CDLMs klingen vielversprechend für eine flüssigere, kohärentere Textgenerierung. Ich bin gespannt, wie sie die Diskontinuitäten auf Token-Ebene angehen.