Apple、Transformerの知識をMambaへ受け渡す二段階蒸留法を発表
Attention to Mamba: A Recipe for Cross-Architecture Distillation
MambaなどのState Space Modelはメモリ消費が少なく生成スループットも高いが、Transformerから単純に蒸留すると性能が落ちる。Appleの研究チームは、まずTransformerをkernel trickの応用で線形化Attentionへ蒸留し、それをAttentionブロックを持たないMambaへ蒸留する二段階の手法を提案。Pythia-1Bの性能をほぼ維持し、perplexityは教師の13.86に対し14.01を達成した。
我々の主張の要点は、Mambaに原理に基づく初期化を与えることで、アーキテクチャ間蒸留のための全体としてより優れたレシピを回復できるということだ。
- buildbot
私の意見では、あらゆる状態空間アテンションタイプに対する同様のアイデアをより良く、より包括的に扱った論文がAWSから出ています：https://arxiv.org/abs/2605.08301
- kooi
いいね、私は状態空間モデルが好きです。なぜなら、線形動的システムの制御とモデリングの力をきちんとオマージュしているように「感じられる」からです。（Mambaは非線形活性化で連鎖された時変線形システムの集まりです）。
今、元祖の論文の一つを読んでいるのですが、いくつか興味深い断片があります。データセンターでの推論が従来のTransformerとSSMのどちらでどれだけ行われているのか気になります。なぜなら効率の向上がかなり劇的だからです。
> 我々は、選択的状態空間モデルの新しいクラスを提案する。これは先行研究を複数の軸で改善し、系列長に対して線形にスケールしながらTransformerのモデリング能力を達成する。
> 我々のMamba言語モデルは、同程度のサイズのTransformerと比較して5倍の生成スループットを持ち、Mamba-3Bの品質は2倍のサイズのTransformerに匹敵する。
そして、トレーニングに関して興味深いのは：
> 一般に、モデル[SSM]は効率的で並列化可能なトレーニングのために畳み込みモード(3)を使用し（入力系列全体が事前に見られる）、効率的な自己回帰推論のために再帰モード(2)に切り替えられる（入力が一度に1タイムステップずつ見られる）。
- vlovich123
1Bモデルのみ。これがより大きなモデルにスケールし続けるかどうか、またMamba側から見てそれがどうなるかについては何も示されていない。
> これは主に下流タスクにも引き継がれるが、文脈内リコールに依存するタスクではいくつかのギャップが現れる
そしてそう、SSMの有名なアキレス腱——リコールの弱さ。