OpenWAM: единый фреймворк для видеопрогнозирования и управления роботами
OpenWAM: An Open Framework for Composable World-Action Models
OpenWAM — открытый фреймворк для world-action моделей, объединяющий видеопрогнозирование и генерацию действий робота. На архитектуре Mixture-of-Transformers с 5B видео-экспертом и 2B action-экспертом он поддерживает четыре программы взаимодействия: видео-затем-действие, действие-затем-видео, совместную и раздельную. После предобучения на 14,64 тыс. часов видео и 14 дней на 32 GPU B200 фреймворк достигает 98,6% успеха на LIBERO и около 92% на бимануальных задачах.
Мы можем менять порядок генерации видео и действий и то, как их токены взаимодействуют друг с другом.