Оптимизатор, который переписывает собственный код прямо во время обучения
Reactive Optimizers: rewrite the optimizer's source code during training
Исследователи из MIT и других институтов предлагают реактивный оптимизатор OPAL: LLM-агент в цикле обучения наблюдает за динамикой, сам пишет код анализа и переписывает правило обновления весов на лету. Без предварительно настроенного рецепта он не уступает или превосходит лучшие статические варианты на задачах генерации изображений и языкового моделирования, а также спонтанно изобретает сложные расписания, гасит всплески loss и выходит из переобучения.
Когда для задачи ещё нет настроенного рецепта, реактивный оптимизатор не уступает лучшему готовому варианту или превосходит его — и на задачах с изображениями, и на языковых задачах.