StanfordのOpenWAM、世界行動モデルを共通基盤で比較可能に
OpenWAM: An Open Framework for Composable World-Action Models
Stanford大学の研究者らが、ロボットの世界行動モデルを共通基盤で比較するオープンフレームワークOpenWAMを公開した。Wan2.2-5Bをロボット動画で事前学習し、5Bの動画エキスパートと2Bの行動エキスパートをMixture-of-Transformersで統合。動画と行動の生成順や注意機構を変える4つのプログラムを同一アーキテクチャで評価でき、LIBEROベンチマークではVTAが平均98.6%の成功率を達成。独立訓練した逆動力学モデルと順動力学モデルを組み合わせる構成も可能にした。
このベンチマークで強力な制御を実現するのに、将来の動画トークンと行動トークン間の注意は必ずしも必要ではない。