600 экспериментов показали: LeWM решает долгосрочные задачи в 3 раза лучше за счёт планирования
After 600 experiments, here's what I discovered about JEPA world models
Хэдди Альчаер провёл 600 экспериментов с JEPA-моделью мира LeWM на бенчмарке Push-T. Выяснилось, что её предсказания на горизонте 25 шагов уже не хуже идеальной физики, а провал на 75 шагах — не проблема модели, а проблема планирования. Без дообучения он нашёл четыре метода: разбиение на подцели, граф латентной памяти, заполнение пробелов преобразованными демонстрациями и исправление функции стоимости. Вместе они подняли успех с 22% до 85%.
На тех траекториях, на которых модель обучалась, предсказания LeWM для планирования уже не хуже идеальной физики.
- robotresearcher
Здесь повторяется одна тема, которую я не понимаю. Например:
> (3) Именно тогда я решил построить более сложный тест, где каждая задача берёт своё начало из одной демонстрации, а цель — из другой
> (4) Я также сделал интерактивную демонстрацию, где я мог поставить блок куда угодно и выбрать любую цель. [но]
Цели в более сложном тесте — это кадры из экспертных демонстраций.
Почему так сильно полагаться на примеры демонстраций? Ведь настоящая задача здесь — перемещаться между любыми двумя произвольными позами.
Так что если набор демонстраций статистически чем-то странен, вы будете постоянно на это натыкаться. И даже если вы получите отличные результаты, вы всё равно не показали, что это обобщается на общую систему. А единственное, что вы знаете на 100% о физической робототехнической системе, — это то, что вы никогда не столкнётесь с точно такой же ситуацией дважды.
Есть ли на самом деле причина выбирать примеры для оценки из демонстраций, а не независимые выборки из лежащей в основе задачи?
Я почти уверен, что проблема толкания T-образного блока не имеет проблем с достижимостью цели. А если бы и имела, тест 4 мог бы с ними столкнуться, поскольку начальная поза произвольна.
- hazrmard
JEPA очень похожа на Model Predictive Control. Здесь вы заменяете модель системы на чёрный ящик-симулятор (нейронную сеть), применяете некоторую версию динамического программирования / уравнения Беллмана, чтобы найти оптимальное действие на горизонте планирования.
На этапе планирования, вынося шаг оптимизации из шага развёртывания, вы можете освободить модель, чтобы она сосредоточилась на изучении динамики в латентном пространстве. (Другой случай, когда развёртывание + оптимизация происходят в цикле обучения, просто становится RL без модели.)
Мой опыт охватывает как классическое, так и управление на основе данных. Это было первое сходство, которое бросилось мне в глаза, когда я начал изучать world models.
JEPA — это просто MPC, но где «M» — это модель латентного пространства?
- reasonabl_human
Практическое обучение — это классная штука, особенно в эпоху ИИ!
Но, возможно, стоит переформулировать, уйдя от «открытия» — иерархическое планирование, подцели, чанкинг действий и т.д. хорошо поняты — это скорее… расшифровка вашего личного учебного пути?
Что всё равно круто видеть. Но я читал в ожидании каких-то новых результатов. Нам, вероятно, нужно немного лучше категоризировать такие посты.
- halcdev
Дайте знать, если у вас есть вопросы!
- cheesecompiler
Тема действительно трудночитаемая. Не хочу быть грубым, мне очень нравится статья. Я попробовал несколько браузеров, и у меня реально устали глаза.