World Labs представляет Atlas: новая модель мира для пространственного интеллекта
Atlas: A World Model for Spatial Intelligence
World Labs анонсировала Atlas — мультимодальную модель мира, обученную с нуля для работы с текстом, изображениями, видео и 3D. Atlas генерирует видео с точным контролем камеры, реконструирует сцены из нескольких изображений, создаёт 3D-выходные данные и симулирует пространство и время для робототехники. Модель использует пространственный контекст, что позволяет ей предсказывать невидимые части сцены и создавать связные миры. Atlas превосходит специализированные модели в реконструкции 3D и поддерживает Real-to-Sim для навигации и манипуляций.
Это ставит вас в кресло режиссёра: вы ставите сцену, а не тянете рычаг игрового автомата.
- teraflop
В блог-посте, похоже, не упоминается то, что мне кажется самым интересным применением такой модели, а именно извлечение семантической информации из её скрытого пространства. Там упоминаются приложения для робототехники, но только в контексте генерации реалистичных мировых моделей для симуляции.
Если у вас есть робот, развёрнутый в среде, генерация синтетических видов этой среды не имеет очевидной ценности. Очевидную ценность имеет скрытое знание, которое модель могла бы использовать для генерации этих синтетических видов.
Например, тот факт, что Atlas способен определять области входных изображений, которые выглядят как «полы», и плавно интерполировать их и заполнять пробелы дополнительным полом, предполагает, что у него есть понятие «полоподобной проходимости», которое он изучил на примерах из своих обучающих данных. И возможность определять области 3D-пространства, соответствующие этой семантической метке, очевидно, была бы полезна для планирования пути робота.
Существует множество литературы, например, об использовании нейронных сетей для оценки проходимых областей по облаку точек. И можно представить, что можно просто прикрепить один из таких методов к Atlas, используя синтезированное облако точек (вместо традиционной фотограмметрии или LIDAR) в качестве входных данных. Но это, похоже, выбрасывает много потенциально полезной семантической информации, вдобавок к тому, что это неоправданно неэффективно.
- Vakaiser
Это невероятно. Одно из потенциальных применений, о котором я уже думаю, — это быстрая итерация блокировки карт в видеоиграх. Возможность загрузить некую конфигурацию «начального состояния», а затем процедурно сгенерировать несколько альтернативных конфигураций могла бы сделать быстрое прототипирование значительно более быстрым процессом, особенно если вы хотите увидеть, как может выглядеть потенциальный конечный результат.
Кроме того, возможность извлекать и обрабатывать геометрию мира и 3D-объекты из Atlas могла бы снизить трение на ранних стадиях инди-разработки, когда время разработчика растянуто тоньше.
Я очень рад развитию ИИ-инструментов, если это проблеск будущего.
- xyzsparetimexyz
Насколько быстро он может генерировать кадр? Если достаточно быстро для реального времени, то не нужно было бы передавать выходные данные в другой метод синтеза новых видов, такой как Gaussian splats.
- ACCount37
Это многообещающий подход — и демо показывает, насколько продвинутой и надёжной стала реконструкция «3D из 2D».
Раньше выделенные датчики глубины были обязательны на продвинутых робототехнических платформах — единственным способом получить хоть сколько-нибудь надёжные 3D-облака точек было вращение LiDAR. Но сейчас я не удивлюсь, если всё больше роботов будут оснащаться камерами, похожими на смартфонные — с разными полями обзора и фокусными расстояниями, но без особого явного измерения глубины, если вообще без него.
Кроме того, интересно, можно ли эту самую модель переоборудовать в настоящую робототехническую VLA? Если она уже принимает текстовое и графическое руководство, выполняет авторегрессивную диффузию новых видов и обрабатывает временную динамику — почему бы не диффузию действий?
- thinkingkong
Что именно означает «мировая модель»? Я видел, как это используется так много раз и так по-разному, чтобы описать что угодно SOTA, что это потеряло свой смысл.