Agent schreibt den Optimierer während des Trainings um – und schlägt jede vorgefertigte Rezeptur
Reactive Optimizers: rewrite the optimizer's source code during training
Ein Agent überwacht die Trainingsdynamik und schreibt den Quellcode des Optimierers mitten im Lauf neu. Ohne auf die Aufgabe abgestimmte Rezeptur erreicht OPAL (OPtimizer with an Agent in the Loop) auf Bild- und Sprachaufgaben mindestens das Niveau der besten vorgegebenen Rezeptur – bei LightningDiT-XL/1 etwa FID-50K 1.83 statt 2.18. Dabei entwickelt der Agent von selbst komplexe Zeitpläne, dämpft Loss-Spikes und entkommt Overfitting.
In diesem Beitrag versuchen wir, den Rahmen konventioneller Optimierer zu erweitern und sie auf das Training selbst reagieren zu lassen, sodass innerhalb eines einzigen Trainingslaufs ein sich ständig anpassender Optimierer entsteht.