LeMario: Ein JEPA-Weltmodell, das Super Mario Bros spielen lernt – und scheitert
LeMario: Training a JEPA World Model on Super Mario Bros
Benjamin Bai wollte das JEPA-Weltmodell aus dem LeWorldModel-Papier nachbauen und trainierte es auf Super Mario Bros. Das Modell sagte kurzfristige Frames präzise voraus und übertraf Baselines, doch als es per Cross-Entropy-Methode selbst spielen sollte, scheiterte es an Hindernissen. Die Ursache: Die Encoder-Repräsentation erfasst horizontale Position gut, aber vertikale Bewegung nur schwach. Zudem belohnt die Vorhersage Ähnlichkeit, nicht Fortschritt – so hält das Modell ähnlich aussehende Szenen für nahe Ziele. Der Autor analysiert die Architektur, Tests und Fehler und zeigt, dass Vorhersage nicht gleich Kontrolle ist.
Das Modell hatte gelernt, das Spiel vorherzusagen, aber das bedeutete nicht, dass es gelernt hatte, wie man darin Fortschritte macht.