DiffusionGemma: новая модель Google генерирует 1500 токенов в секунду на одном H100

DiffusionGemma Technical Report

Исследовательская команда Google представила DiffusionGemma — экспериментальную открытую языковую модель, которая использует дискретный диффузионный метод для генерации текста. Вместо последовательного декодирования по одному токену, модель параллельно уточняет блоки из 256 токенов, достигая примерно 1500 выходных токенов в секунду на одном NVIDIA H100. DiffusionGemma получена путём дообучения смеси экспертов Gemma 4 (3,8B активных параметров) с использованием менее 10% вычислительного бюджета исходной модели. Модель сохраняет поддержку режима мышления, мультимодальных входов и длинных контекстов.