Raspberry Pi Pico 2 Wで小さな世界モデルがゲームを生成して遊ぶ
A tiny world model running games on a Raspberry Pi Pico 2 W
Raspberry Pi Pico 2 W上で、ループ型transformerの世界モデルと小さなactorネットワークを動かし、ゲームを生成しながら同時にプレイさせるプロジェクト。世界モデルは26k〜131kパラメータで、フレームと行動から次のフレームと報酬を予測する。BreakoutやPongでは保持フレームの99%以上を正確に再現し、オンボードで強化学習エージェントが夢の中で学習することもできる。
エージェントは夢の中でだけ訓練すると210点を出したが（実際の最高点は56）、本物のゲームでは28点だった。これはWorld Models（Ha & Schmidhuber）が予測するとおりだ。