Diffusion-Sprachmodelle: Wie man sie baut und warum sie autoregressive Modelle herausfordern
How to build a diffusion language model
Dieser Artikel der Kuleshov Group erklärt Schritt für Schritt, wie man Diffusions-Sprachmodelle aufbaut – von den Grundlagen der Gaußschen Diffusion über Masked Diffusion bis hin zu Block Diffusion, Architekturen und Beschleunigung durch Distillation. Er zeigt, wie Diffusionsmodelle im Gegensatz zu autoregressiven Modellen die gesamte Sequenz parallel generieren, Fehler korrigieren können und bidirektionale Aufmerksamkeit nutzen. Mit Beispielen wie Mercury 2, Gemma Diffusion und Nemotron Diffusion wird deutlich, dass Diffusions-LLMs 2026 Realität sind. Der Beitrag beleuchtet auch Anwendungen in Biologie und Wissenschaft sowie die Frage, ob Diffusion ein Weg zu intelligenteren Modellen ist.
Anstatt Text Token für Token zu erzeugen, generieren Diffusionsmodelle die gesamte Sequenz auf einmal, ausgehend von einer ersten Schätzung, die sie über mehrere Schritte hinweg iterativ verfeinern.
- radarsat1
Etwas, worüber ich mich schon gewundert habe, vielleicht sollte ich es einfach tun, wenn ich Zeit finde, aber... angesichts DeepSeeks schöner Ergebnisse bei der Verwendung von gerendertem Text als Eingabe frage ich mich, ob jemand ernsthafte Forschungsanstrengungen in bildbasierte Diffusionsmethoden für Text gesteckt hat.
Also, anstatt all der Komplexitäten, die durch diskrete Token-Erzeugung entstehen, einfach das Bild des Textes mit Standard-Bilddiffusionsmethoden erzeugen und es dann in Text umwandeln.
Wenn man eine einzelne, nichtproportionale Schriftart verwenden würde, wäre das vermutlich sogar ziemlich effizient, weil das OCR-Problem im Grunde nur noch direktes Template-Matching wäre.
Aber ich schätze, es gibt wahrscheinlich schon ein Paper dazu, ich habe nicht gesucht. Ich wäre neugierig zu erfahren, ob es mit tokenbasierten Methoden mithalten kann.
- quirino
Ich habe diese für ein Universitätsprojekt viel studiert. Letzte Woche habe ich die Herleitung des ELBO ein paar Stunden durchgearbeitet, und es war eine sehr unterhaltsame und erhellende Übung.
Sobald man den größeren mathematischen Strukturen Namen gibt und sie ein wenig besser versteht, wird es ziemlich einfach. Ich wünschte, einige der Blogs/Papiere, die ich gelesen habe, hätten "Importance Sampling" benannt.
Die Wahrscheinlichkeitsnotation kann auch ziemlich verwirrend sein. Manchmal ist es schwer, die "Typen" einiger Variablen zu verstehen. Aber ich bin unerfahren.
ChatGPT war überraschend hilfreich. Wenn man sich die Mühe macht, wirklich zu verstehen, wo die Lücken in seinem mentalen Modell sind (welche Teile nicht ganz intuitiv sind), kann es einen erstaunlichen Job machen, diese Lücken zu füllen.
- rottc0dd
Ein gutes Video von Welch Labs zur Bilderzeugung mit Diffusionsmodellen:
https://www.youtube.com/watch?v=iv-5mZ_9CPY&pp=ygUVZGlmZnVza...