Un JEPA de texto de 109M de parámetros supera a modelos de lenguaje de hasta 72B en alineación visual

Proving and Improving the Platonic Representation Hypothesis with JEPAs

La Hipótesis de la Representación Platónica sostiene que los modelos convergen hacia la misma representación del mundo al escalar, pero sin demostración no ofrecía garantías ni receta. Este trabajo la convierte en teorema: las Joint-Embedding Predictive Architectures (JEPAs) entrenadas por separado en distintas modalidades aprenden la misma representación salvo una rotación, siempre que sus pares positivos sean buenas vistas de una escena. La predicción del siguiente token resulta ser un JEPA con malas vistas, lo que explica por qué los modelos de lenguaje solo se alinean con la visión mediante escala. Con 145k captions y 940M imágenes web, los autores hallan una ley de escalado de la alineación y muestran que las buenas vistas necesitan 42 veces menos muestras.