LeMario：学会预测却玩不好超级玛丽

LeMario: Training a JEPA World Model on Super Mario Bros

我复现了 LeCun 提出的 JEPA 架构，从零搭建 LeMario 模型，试图让它在 Super Mario Bros 中无奖励规划。起初，模型在预测未来帧时表现惊艳，甚至能精准定位马里奥的水平位置。然而，当尝试让模型自主导航时，它却连第一个障碍物都跳不过去。这让我意识到，学会预测游戏画面并不等于学会如何通关。通过引入 probe 探针辅助规划，模型终于能向目标移动，但这番经历也揭示了当前世界模型在长期规划上的真实短板。

"模型学会了预测游戏，但这并不意味着它学会了如何在游戏中取得进展。"