Apple научила Mamba догонять Transformer без единого Attention-блока
Attention to Mamba: A Recipe for Cross-Architecture Distillation
Исследователи Apple предложили двухэтапный рецепт дистилляции: сначала знания Transformer переносятся в линеаризованный Attention с помощью адаптации kernel trick, затем — в адаптированную Mamba. Дистиллированная модель сохраняет почти всю производительность Pythia-1B: perplexity 14,01 против 13,86 у учителя. Провал заметен лишь на задачах, требующих recall по контексту. Авторы подтвердили рецепт абляциями на масштабе 1B и 10B токенов.
Наивная дистилляция из Transformer в Mamba не сохраняет исходное качество учителя — эту проблему обычно обходят гибридными решениями, сочетающими блоки Attention и SSM.
- buildbot
На мой взгляд, более удачный и полный разбор похожей идеи для всех типов state space attention — это статья от AWS: https://arxiv.org/abs/2605.08301
- kooi
Круто, мне нравятся state space models, потому что они «ощущаются» как должная дань уважения силе теории управления и моделирования линейных динамических систем. (Mamba — это набор линейных систем с переменными во времени коэффициентами, соединённых нелинейными активациями).
Сейчас читаю одну из основополагающих статей, и вот несколько интересных фрагментов. Интересно, какая доля инференса в дата-центрах выполняется на традиционных трансформерах, а какая — на SSM, потому что выигрыш в эффективности довольно впечатляющий.
> Мы предлагаем новый класс селективных state space models, который превосходит предыдущие работы по нескольким направлениям и достигает моделирующей мощности Transformer, масштабируясь линейно по длине последовательности.
> Наша языковая модель Mamba имеет в 5 раз большую пропускную способность генерации по сравнению с Transformer аналогичного размера, а качество Mamba-3B соответствует Transformer вдвое большего размера.
Затем, что интересно для обучения:
> Обычно модель [SSM] использует свёрточный режим (3) для эффективного распараллеливаемого обучения (когда вся входная последовательность известна заранее) и переключается в рекуррентный режим (2) для эффективного авторегрессионного инференса (когда входы поступают по одному временному шагу за раз).
- vlovich123
Только модель на 1B. Нет указаний, продолжает ли это масштабироваться на более крупные модели / как это выглядит со стороны Mamba.
> Это в значительной степени переносится на нижестоящие задачи, хотя на задачах, больше полагающихся на recall в контексте, появляются некоторые пробелы
И да, знаменитая ахиллесова пята SSM — плохой recall.