JEPAは言語モデルより42倍少ないデータで世界の共通表現に到達する

Proving and Improving the Platonic Representation Hypothesis with JEPAs

異なるモダリティで学習したモデルが同じ世界表現に収束するというPlatonic Representation Hypothesisを、論文は定理へと昇格させた。JEPAは同一シーンの2つの観測を正例とすれば回転を除いて同一の表現を学ぶことを証明し、次トークン予測は「悪い視点」を持つJEPAにすぎないと説明する。145kのキャプションから940M枚のWeb画像テキストまで検証し、良い視点なら同じ整合度に到達するのに必要な学習サンプルは42分の1で済むことを示した。