Difusión para lenguaje: cómo construir un modelo de lenguaje por difusión
How to build a diffusion language model
Los modelos de lenguaje autorregresivos generan texto token a token, sin posibilidad de corregir errores y con generación lenta. La difusión enmascarada ofrece una alternativa: genera la secuencia completa de una vez, refinándola iterativamente, lo que permite corrección de errores, generación paralela y atención bidireccional. Este artículo explica los fundamentos de la difusión enmascarada, su perspectiva probabilística, la difusión por bloques para longitud flexible, arquitecturas, refinamiento iterativo, destilación para acelerar el muestreo, generación controlable, post-entrenamiento, aplicaciones en biología y ciencia, y su escalamiento en grandes modelos de lenguaje, con ejemplos como Mercury 2, Gemma Diffusion y Nemotron Diffusion.
Cada ronda deja menos posiciones enmascaradas, hasta que la secuencia converge a una muestra limpia del modelo.
- radarsat1
Algo que me he preguntado, quizás debería simplemente hacerlo si encuentro tiempo, pero... dado los buenos resultados de DeepSeek usando texto renderizado como entrada, me pregunto si alguien ha dado esfuerzos serios de investigación hacia métodos de difusión basados en imágenes para texto.
Es decir, en lugar de todas las complejidades inducidas por la generación discreta de tokens, simplemente generar la imagen del texto usando métodos estándar de difusión de imágenes, y luego convertirla a texto.
Si usaras una fuente única y monoespaciada, apuesto a que esto sería incluso bastante eficiente, porque el problema de OCR se convierte básicamente en coincidencia directa de plantillas.
Pero supongo que probablemente ya hay un paper por ahí, no he buscado. Me daría curiosidad saber si se compara a la par con los métodos basados en tokens.
- quirino
He estado estudiando esto bastante para un proyecto en la universidad. La semana pasada repasé la derivación del ELBO durante un par de horas y fue un ejercicio muy divertido y esclarecedor.
Una vez que pones nombres a las estructuras matemáticas más grandes y las entiendes un poco mejor, se vuelve bastante simple. Desearía que algunos de los blogs/papers que he leído hubieran nombrado "Importance Sampling".
La notación de probabilidad también puede ser bastante confusa. A veces es difícil entender los "tipos" de algunas variables. Pero soy inexperto.
ChatGPT fue sorprendentemente útil. Si pones el trabajo para entender verdaderamente dónde están los vacíos en tu modelo mental (qué partes no son completamente intuitivas), puede hacer un trabajo increíble llenando esos vacíos.
- rottc0dd
Un buen video de welch labs sobre generación de imágenes con modelos de difusión:
https://www.youtube.com/watch?v=iv-5mZ_9CPY&pp=ygUVZGlmZnVza...