Dust: preentrenar transformers sin retropropagación
Dust: Pretraining Transformers Without Backpropagation

Dust es el primer método de orden cero competitivo con backprop para preentrenar transformers. En lugar de perturbar pesos, añade ruido gaussiano a las activaciones de cada token, de modo que un solo forward pass evalúa miles de miembros virtuales en paralelo. Según sus autores, es entre 10³ y 10⁴ veces más eficiente que EGGROLL, y los modelos grandes resultan más eficientes en población, no menos.
Contrariamente a la sabiduría convencional, los modelos más grandes suelen ser más eficientes en población, no menos, y pueden aprovechar poblaciones mayores.
- blt
Cada pocos años, algún algoritmo de optimización de redes neuronales sin derivadas recibe algo de hype. Apostaría mis ahorros de toda la vida a que ninguno de ellos llegará a tener impacto.
La optimización sin derivadas puede ser útil para objetivos genuinamente discontinuos [1], pero los objetivos habituales de las redes neuronales son suaves y/o Lipschitz.
El gradiente es útil. En lugar de probar direcciones aleatorias y esperar que una de ellas sea una mejora, te dice hacia dónde ir. Cuantos más parámetros tengas, más útil se vuelve.
Se sospecha desde hace décadas de una brecha de complejidad estricta entre la optimización convexa Lipschitz basada en gradientes y la libre de derivadas, y recientemente se ha demostrado (usando IA, [2]). La optimización de redes neuronales es no convexa, pero no radicalmente diferente.
En mi opinión, una dirección más prometedora son los optimizadores basados en gradientes especializados en la estructura de las redes neuronales, como Muon [3].
[1] https://arxiv.org/abs/2202.00817
- usernametaken29
> Hay muchas preguntas abiertas interesantes. La primera es si Dust puede encontrar mejores direcciones que el gradiente de primer orden de backprop, y cómo.
Ambos algoritmos están limitados por la misma frontera de Pareto basada en el Principio de Minimización del Riesgo Empírico, así que ya están en la misma trayectoria.
Curiosamente, backprop está limitado por el condicionamiento de la matriz Hessiana para poder converger (diferenciar correctamente). Así que eliminar esta limitación es en realidad un gran paso.
Me entusiasma ver un regreso de los métodos evolutivos porque son mucho más generales, aunque costosos e ingenuos.
Ahora estamos muy cerca de lo que se puede describir mejor como forzar por la fuerza bruta la frontera de Pareto a partir de nuestros conjuntos de datos. No estoy seguro de que eso sea lo que queremos, pero tampoco tengo mejores ideas.
- polyomino
Aunque esto es mucho más caro que backprop, ¿podría un enfoque híbrido en el que ajustas finamente un checkpoint existente que ha pasado por backprop desbloquear más ganancias?
Sería genial aplicarlo a diferentes etapas y ver si eso afecta la trayectoria de aprendizaje.
- wg0
Es computacionalmente costoso e inviable, pero ¿cuál es la ventaja?
Pregunta genuina por falta de familiaridad con el tema.
- api
Suena a que esto es menos eficiente computacionalmente que backprop, pero más fácilmente paralelizable. ¿Es justa esa afirmación?