600번 실험 끝에 밝혀낸 JEPA 월드 모델의 진짜 병목
After 600 experiments, here's what I discovered about JEPA world models
Yann LeCun이 주장하는 JEPA 기반 월드 모델 LeWM을 600번 실험한 기록이다. 예측기를 완벽한 물리 시뮬레이터로 바꿔도 장기 과제 성공률은 78% 대 77%로 차이가 없었다. 대신 25스텝 단위로 하위 목표를 이어 붙이자 22%가 85%로 뛰었고, 목표 이미지에 찍힌 푸셔 위치까지 맞추려는 채점 방식의 결함을 고치자 성공률이 60포인트 올랐다. 재학습 없이 계획 방식을 바꾸는 것만으로 얻은 성과다.
그 경로에서 LeWM의 예측은 계획에 있어 이미 완벽한 물리와 맞먹는다.
HN 토론
35- robotresearcher
여기 반복되는 주제가 하나 있는데 이해가 안 됩니다. 예를 들어:
> (3) 그래서 저는 더 어려운 테스트를 만들기로 했습니다. 각 작업은 하나의 데모에서 시작 상태를, 다른 데모에서 목표를 가져오도록 했죠.
> (4) 저는 또한 블록을 어디든 배치하고 어떤 목표든 선택할 수 있는 인터랙티브 데모를 만들었습니다. [하지만]
더 어려운 테스트의 목표는 전문가 데모의 프레임입니다.
왜 이렇게 데모 예제에 의존하는 걸까요? 분명히 여기서 실제 작업은 임의의 두 자세 사이를 이동하는 것입니다.
따라서 데모 세트가 어떤 식으로든 통계적으로 이상하다면, 계속 그 문제에 부딪히게 됩니다. 그리고 좋은 결과를 얻더라도 일반 시스템으로 일반화된다는 것을 보여주지 못한 것입니다. 그리고 물리적 로봇 시스템에 대해 100% 확실히 아는 한 가지는 정확히 같은 상황을 두 번 겪지 않는다는 것입니다.
기저 작업에서 독립적인 샘플 대신 데모에서 평가 예제를 선택할 실제 이유가 있나요?
T-밀기 문제에는 목표 도달 가능성 문제가 없다고 확신합니다. 그리고 만약 있다면, 테스트 4는 시작 자세가 임의적이기 때문에 그 문제에 부딪힐 수 있습니다.
- hazrmard
JEPA는 모델 예측 제어(Model Predictive Control)와 매우 유사합니다. 여기서는 시스템 모델을 블랙박스 시뮬레이터(신경망)로 바꾸고, 계획 지평선(planning horizon)에 걸쳐 최적의 행동을 찾기 위해 동적 프로그래밍/벨만 방정식의 일부 버전을 적용합니다.
계획 단계에서 최적화 단계를 롤아웃 단계에서 분리함으로써 모델이 잠재 공간에서 동역학을 학습하는 데 집중할 수 있게 해줍니다. (다른 경우, 즉 롤아웃과 최적화가 학습 루프 내에서 일어나는 경우는 그냥 모델 없는 강화학습(model-free RL)이 됩니다.)
제 배경은 고전 제어와 데이터 기반 제어를 아우릅니다. 월드 모델에 대해 처음 배우기 시작했을 때 가장 먼저 떠오른 유사점이 이것이었습니다.
JEPA는 단지 "M"이 잠재 공간 모델인 MPC일 뿐인가요?
- reasonabl_human
직접 해보는 학습은 정말 멋진 일입니다 - 특히 AI 시대에는요!
하지만 아마도 "발견"이라는 표현에서 벗어나는 게 좋을 것 같습니다 - 계층적 계획, 하위 목표, 행동 청킹 등은 이미 잘 이해되어 있습니다 - 이것은 좀 더... 개인적인 학습 여정의 기록에 가깝습니다.
그래도 보기에는 여전히 멋집니다. 하지만 저는 어떤 종류의 새로운 결과가 있을 것이라고 기대하며 읽었습니다. 이런 종류의 글을 좀 더 잘 분류할 필요가 있을 것 같습니다.
- halcdev
질문이 있으시면 알려주세요!
- cheesecompiler
테마가 정말 읽기 힘드네요. 무례하게 굴려는 건 아니고, 글은 정말 좋아합니다. 몇 가지 브라우저에서 시도해봤는데 눈이 정말 피로하네요.