オプティマイザが学習中に自分のソースコードを書き換える

Reactive Optimizers: rewrite the optimizer's source code during training

MITの研究チームが、学習の進行を観察しながらオプティマイザのソースコードを実行中に書き換える「リアクティブ・オプティマイザ」を発表した。エージェントが勾配の統計やスパイクを自ら分析し、パラメータ群ごとの更新則をその場で生成する。レシピが未調整の画像・言語タスクで既存の最良レシピに匹敵または上回り、損失スパイクの抑制や過学習の回避も自然に獲得したという。実装はOPALパッケージとして公開されている。