월드 모델이 포켓몬을 플레이하게 만든 여정
Teaching a World Model to Play Pokemon
저자는 RTX 3080 Ti에서 JEPA 기반 LeWorldModel을 학습시켜 포켓몬 레드에서 스타터를 선택하게 했다. 스크린샷을 임베딩으로 바꾸고 다음 임베딩을 예측하는 과정에서 발생하는 잠재 붕괴 문제를 SIGReg로 해결했다. 초기 계획은 실패했지만 롤아웃 파인튜닝으로 재시도해 성공했다.
모델이 목표에 거의 도달했을 때 A 연속 입력 후 B를 눌러 스스로 노력을 취소할 수도 있다.