JEPAs brauchen 42-mal weniger Trainingsdaten für dieselbe Repräsentation
Proving and Improving the Platonic Representation Hypothesis with JEPAs
Die Platonic Representation Hypothesis vermutete, dass Modelle unterschiedlicher Modalitäten beim Skalieren dieselbe Weltrepräsentation erlernen – nur ohne Beweis. Diese Arbeit beweist ein Platonic Representation Theorem für JEPAs: Trainiert man sie auf guten Ansichten derselben Szene, lernen sie dieselbe Repräsentation bis auf eine Rotation. Next-Token-Prediction erweist sich als JEPA mit schlechten Ansichten, weshalb Sprachmodelle nur über Skalierung zur Vision finden. Ein Text-JEPA mit 109M Parametern übertrifft sämtliche getesteten Sprachmodelle bis 72B Parameter.
Gute Ansichten brauchen 42-mal weniger Trainingssamples als Next-Token-Prediction auf demselben Korpus, um dieselbe Ausrichtung zu erreichen.