LeMario：JEPA ワールドモデルをスーパーマリオブラザーズで訓練してみた

LeMario: Training a JEPA World Model on Super Mario Bros

JEPA（Joint-Embedding Predictive Architecture）をゼロから実装し、スーパーマリオブラザーズの世界モデルを訓練したプロジェクトの記録。737,134フレームで学習したモデルは、アクションを考慮した将来予測で強いベースラインを上回り、報酬なしのプランニングで近距離の目標には到達できた。しかし、遠方の目標には到達できず、その原因を探る過程で、予測に適した表現と制御に適した表現の乖離、カメラスクロールによる見た目の類似性、垂直方向の表現の弱さなどが明らかになった。技術的な詳細と失敗からの教訓をまとめたポストモーテム。