Apple destila un Transformer en Mamba sin perder casi nada de rendimiento
Attention to Mamba: A Recipe for Cross-Architecture Distillation
Los modelos de espacio de estados como Mamba consumen menos memoria y generan más rápido que los Transformers, pero destilar un Transformer directamente en Mamba no funciona. Apple propone un proceso en dos etapas: primero destila el Transformer en una versión linealizada de la atención usando una adaptación del truco del kernel, y luego esa versión en un Mamba adaptado sin bloques de atención. El Mamba resultante alcanza una perplejidad de 14,01 frente a los 13,86 del profesor Pythia-1B, aunque pierde algo en tareas que dependen del recuerdo en contexto.
La clave de nuestro trabajo es que, dotando a Mamba de una inicialización fundamentada, podemos recuperar una receta globalmente mejor para la destilación entre arquitecturas.
- buildbot
En mi opinión, un análisis mejor y más completo de una idea similar para todos los tipos de atención de espacio de estados es este paper de AWS: https://arxiv.org/abs/2605.08301
- kooi
Genial, me gustan los modelos de espacio de estados porque "siento" que le rinden un auténtico homenaje al poder del control y el modelado de sistemas dinámicos lineales. (Mamba es un montón de sistemas lineales variantes en el tiempo encadenados mediante activaciones no lineales).
Estoy leyendo ahora uno de los papers originales y aquí van algunos fragmentos interesantes. Me pregunto cuánta de la inferencia en los centros de datos se hace con transformers tradicionales frente a SSM, porque las ganancias de eficiencia son bastante drásticas.
> Proponemos una nueva clase de modelos de espacio de estados selectivos, que mejora trabajos previos en varios ejes para alcanzar el poder de modelado de los Transformers mientras escala linealmente con la longitud de la secuencia.
> Nuestro modelo de lenguaje Mamba tiene 5x el throughput de generación en comparación con Transformers de tamaño similar, y la calidad de Mamba-3B iguala a la de Transformers del doble de su tamaño.
Luego, curiosamente para el entrenamiento:
> Comúnmente, el modelo [SSM] usa el modo convolucional (3) para un entrenamiento paralelizable eficiente (donde toda la secuencia de entrada se ve por adelantado), y cambia al modo recurrente (2) para una inferencia autorregresiva eficiente (donde las entradas se ven un paso de tiempo a la vez).
- vlovich123
Solo el modelo de 1B. No hay indicios de si esto sigue escalando a modelos más grandes / cómo se ve eso desde el lado de Mamba.
> Esto se traslada en gran medida a las tareas downstream, aunque aparecen algunas brechas en tareas que dependen más del recuerdo en contexto
Y sí, el famoso talón de Aquiles de los SSM: el pobre recuerdo.