训练时重写优化器代码：Reactive Optimizers

Reactive Optimizers: rewrite the optimizer's source code during training

传统深度学习训练依赖预设的静态优化器，一旦开始便无法根据训练动态调整。Reactive Optimizers 提出了一种全新范式：在训练过程中嵌入一个智能体，实时观察训练动态，并直接重写优化器的源代码。这项技术无需预先调参，在图像生成和语言建模等任务中，能自发应对损失尖峰、避免过拟合，甚至在没有现成方案的新架构上表现优于人工调优的静态优化器。通过 OPAL 包，开发者可以让优化器在单次训练中自我进化，用 LLM 的算力换取更优的训练结果。