Next-Concept Modeling обгоняет diffusion-модели в 21 раз по скорости генерации текста
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
Diffusion-модели генерируют текст параллельно, но быстро деградируют при малом числе шагов. Авторы из Stanford предлагают Next-Concept Modeling — двухступенчатую схему coarse-to-fine: multiscale residual VQ-VAE кодирует текст в иерархию дискретных кодов, а transformer предсказывает все коды одного уровня параллельно. На LM1B модель превосходит сильнейший DLM по perplexity при 21-кратном ускорении, на XSum повторяет его ROUGE-L в 31 раз быстрее, а в Sudoku обходит и autoregressive, и diffusion-бейзлайны на всех уровнях сложности.
На задаче рассуждения Sudoku NCM превосходит бейзлайны autoregressive и diffusion на всех уровнях сложности, используя меньше вычислений функции.
- pinyen_cheng
Это довольно инновационно. Но совершенно новый токенизатор и метод обучения требуют больших усилий для переобучения. Будет ли это широко внедрено, зависит от реальной передовой производительности, которой удастся достичь.
- OOTY00TYOO
Если мы не можем построить достаточно оборудования так быстро. Может кто-нибудь объяснить мне, почему, по-видимому, 50% GPU и памяти, которые покупают гиперскейлеры, лежат на складах из-за нехватки дата-центров? Гиперскейлеры накапливают технику и даже не могут её использовать. Это смешно.
- swiftcoder
Кто будет обучать хорошую большую модель для кодинга на основе этого? У меня нет GPU, чтобы это сделать...
- cubefox
Это выглядит очень интересно. Их новая цель языкового моделирования показывает значительные улучшения по сравнению с masked diffusion modeling.
Однако они почти не сравнивают с традиционной целью next-token-prediction, что говорит о том, что они её не превосходят, за исключением сильно нелинейных задач вроде судоку. К сожалению, статьи по машинному обучению часто склонны фокусироваться исключительно на плюсах, не упоминая плохие стороны.
- siamaksalman
Я пытаюсь это запустить, пока безрезультатно