Диффузионные языковые модели: как они работают и почему бросают вызов автогрессии
How to build a diffusion language model
Статья из блога Kuleshov Group объясняет, как строить диффузионные языковые модели — альтернативу автогрессивным LLM. Вместо генерации токенов по одному, диффузионные модели создают последовательность целиком, итеративно улучшая её. Рассматриваются masked diffusion (BERT-подобный подход), block diffusion для генерации переменной длины, архитектуры, ускорение через дистилляцию, контролируемая генерация и пост-обучение. Авторы упоминают реальные модели 2026 года: Mercury 2, Gemma Diffusion и Nemotron Diffusion, а также обсуждают перспективы диффузии с точки зрения scaling laws.
Каждый шаг генерации в диффузионной модели может исправлять ошибки, сделанные на предыдущих шагах, что принципиально невозможно в автогрессивных моделях.
- radarsat1
Мне вот что интересно, может, стоит просто попробовать, если найду время... учитывая отличные результаты DeepSeek с использованием отрендеренного текста на входе, интересно, проводил ли кто-нибудь серьёзные исследования в области диффузионных методов на основе изображений для текста.
То есть, вместо всех сложностей, связанных с дискретной генерацией токенов, просто генерировать изображение текста с помощью стандартных диффузионных методов, а затем преобразовывать его в текст.
Если использовать один моноширинный шрифт, думаю, это было бы даже довольно эффективно, потому что задача OCR становится практически простым сопоставлением с шаблоном.
Но, наверное, уже есть статья на эту тему, я не искал. Мне было бы любопытно узнать, сравнимо ли это по качеству с методами на основе токенов.
- quirino
Я много изучал их для университетского проекта. На прошлой неделе я потратил пару часов на вывод ELBO, и это было очень увлекательное и поучительное упражнение.
Когда даёшь названия более крупным математическим структурам и немного лучше их понимаешь, всё становится довольно просто. Жаль, что в некоторых блогах и статьях, которые я читал, не упоминалось "сэмплирование по важности".
Обозначения вероятностей тоже могут сбивать с толку. Иногда трудно понять "типы" некоторых переменных. Но я неопытен.
ChatGPT оказался на удивление полезным. Если приложить усилия, чтобы по-настоящему понять, где именно пробелы в твоей ментальной модели (какие части не совсем интуитивны), он отлично заполняет эти пробелы.
- rottc0dd
Хорошее видео от Welch Labs о генерации изображений с помощью диффузионных моделей:
https://www.youtube.com/watch?v=iv-5mZ_9CPY&pp=ygUVZGlmZnVza...