Текстовый JEPA с 109 млн параметров обходит языковые модели до 72 млрд в согласовании с изображениями

Proving and Improving the Platonic Representation Hypothesis with JEPAs

Авторы превращают гипотезу платоновских представлений в теорему: JEPA, обученные отдельно на разных модальностях, выучивают одно и то же представление с точностью до поворота, если их положительные пары — это хорошие ракурсы одной сцены. Предсказание следующего токена оказывается JEPA с плохими ракурсами, поэтому языковые модели согласуются со зрением только за счёт масштаба. Хорошие ракурсы требуют в 42 раза меньше обучающих примеров, а текстовый JEPA на 109 млн параметров согласуется с энкодерами DINOv2 и CLIP лучше всех проверенных языковых моделей вплоть до 72 млрд параметров.