1억900만 개 텍스트 JEPA, 720억 파라미터 LLM보다 이미지 인코더와 더 잘 정렬됐다

Proving and Improving the Platonic Representation Hypothesis with JEPAs

플라토닉 표상 가설(PRH)을 정리로 바꾼 논문이다. 서로 다른 모달리티에서 따로 학습된 JEPA는 '좋은 뷰'를 양성 쌍으로 가지면 회전 하나만큼 같은 표상을 학습한다는 정리를 증명하고, 다음 토큰 예측은 '나쁜 뷰'를 쓰는 JEPA라서 언어 모델이 규모를 통해서만 시각과 정렬된다고 설명한다. 1억 9,000만 개 캡션과 9억 4,000만 장 웹 이미지 텍스트로 검증했으며, 같은 정렬에 도달하는 데 좋은 뷰는 다음 토큰 예측보다 42배 적은 샘플이 필요하다. 1억 900만 파라미터 텍스트 JEPA는 720억 파라미터까지의 모든 평가된 언어 모델과 CLIP 텍스트 인코더보다 DINOv2·CLIP 이미지 인코더와 더 잘 정렬됐고, 회전 하나로 COCO에서 CIDEr .838의 캡셔너가 된다.