Este optimizador reescribe su propio código mientras la red entrena

Reactive Optimizers: rewrite the optimizer's source code during training

Un agente de IA observa la dinámica del entrenamiento y reescribe en tiempo real el código del optimizador, sin recetas previas. En tareas de lenguaje e imagen, OPAL iguala o supera a los mejores ajustes estáticos, y además genera de forma espontánea estrategias complejas para evitar picos de pérdida y escapar del sobreajuste. La propuesta gasta tokens de LLM en lugar de horas de GPU o de investigadores, y resulta especialmente útil cuando no existe una receta probada para una arquitectura o un dataset nuevos.