LeMario: JEPA 월드 모델로 슈퍼 마리오를 학습시키다

LeMario: Training a JEPA World Model on Super Mario Bros

LeMario는 슈퍼 마리오 브라더스에서 JEPA(공동 임베딩 예측 아키텍처)를 처음부터 구현하고 훈련한 프로젝트입니다. 이 모델은 픽셀과 행동으로부터 세계의 역학을 학습하며, 보상 없는 계획을 위해 설계되었습니다. 비록 모델이 짧은 시간적 예측과 일반화에서 강력한 성능을 보였지만, 먼 목표를 향해 마리오를 움직이는 데는 실패했습니다. 이 글은 기술적 분석과 실패 원인 분석을 제공하며, 예측 상태와 제어 상태의 차이, 표현의 한계, 그리고 목표 기반 계획의 어려움을 탐구합니다.