DeepMind、探索戦略そのものを自己改善する「Dream-RSI」を発表
Dream-RSI: Recursive Self-Improvement through Evolving Worlds
自律型AIエージェントの再帰的自己改善において、探索戦略の改善は大きなボトルネックだ。Dream-RSIは、軽量なオーケストレーション層で探索を明示的にプログラム可能にし、過去の探索履歴をリプレイシミュレータとして活用する。高コストなオンライン評価を繰り返さず、低コストなオフポリシー・フィードバックで探索方針を評価・改良し、再びオンラインに展開する自己改善ループを回す。アルゴリズム工学、数理最適化、GPUカーネル工学で、発見コストを大幅に削減しつつ同等以上の品質を達成した。
蓄積された発見の履歴は、実現された探索空間上のリプレイシミュレータとして機能しうる。
HNでの議論
47- eggbrain
おそらく私の理解が間違っているのかもしれないが、この論文がやっていることについての私の解釈はこうだ。
解きたい問題があるとしよう（例えば、OCRされた手書き文字を識別する、つまりMNIST Datasetのようなものだ）。3つのエージェントに「おい、それぞれこのデータセットから文字を認識するのが得意になるように挑戦してみてくれ。改善を続けるために10回のリファインメントステップを使える」と言う。もちろん、計算資源は有限なので、各エージェントに無制限のステップを与えることはできない。
そこで各エージェントが取り組み、最終的にAgent 1は90%の精度に達し、Agent 2は80%、Agent 3は89%だった。もちろんAgent 1の勝ちだ。
しかし、リファインメントステップを見ると、2ステップ後にはAgent 1はすでに90%の精度に達していた。つまり、残りの8ステップは基本的に全く動いていなかった。一方Agent 3は、おそらく各リファインメントステップで精度が上がり続けていたが、ステップ10に達して止めざるを得なかった。
ここで、各エージェントの全ステップを記録しているので、次回どう変えるべきかがわかる。つまり、Agent 1に割り当てるステップを減らし、Agent 3にもっとステップを与えるべきだ。そうすれば、Agent 3がより良い答えを出すかもしれないからだ。
私の理解では、これが彼らが「search」コントローラーとして構築したものだ。新しい問題に適用したときに、リソースをより効果的に配分する方法を自動的に評価し、再適用する方法だ。
しかし、私の誤解は、このsearchコントローラーが新しい […]