Fable 5.1 создает трехмерные копии реальных городов из открытых данных
Fable 5.1 World Modeling
Проект PhiloLabs/fable51-worlds демонстрирует, как автономные агенты на базе Claude Fable 5.1 воссоздают реальные места в браузере с помощью Three.js. На примере Union Square в Сан-Франциско показан полный конвейер: от сбора данных OpenStreetMap и USGS до генерации ассетов в Blender и сборки приложения. Качество проверяется автоматическим сопоставлением скриншотов с реальными фотографиями. Весь код и ассеты доступны в репозитории под лицензией MIT.
Каждое здание, витрина, вывеска, дерево и светофор генерируются из открытых данных и публичных справочных изображений кодом, который хранится в этом репозитории.
- kodefreeze
Я экспериментировал с таким типом моделирования для RTS-игры, которую я создаю: https://playwarpact.com
Несколько моментов:
1. Opus 5 для этого ничуть не хуже, к тому же дешевле.
2. Они не генерируют оптимизированные 3D-модели. У них высокое количество полигонов для простых геометрий.
3. Лучший подход, который я использовал для создания игровых ассетов, — это использовать модель для создания низкополигональных силуэтов 3D-модели, а затем запекать текстуры, которые включают гораздо больше деталей, таких как окна, двери и т.д., с помощью таких инструментов, как Meshy. Могу выложить туториал, если будет интересно.
Моделям нужно еще немного RL, чтобы делать это автономно.
- WordNotSee
По сути, это модель изображений, предсказывающая следующие кадры последовательности.
Но назвать ее просто моделью изображений недостаточно. Это и не совсем видео, потому что она слишком специфична для рендеринга изображений мира.
Таким образом, «мировая модель»?
Проблема, которую я вижу в слове «мир», в том, что оно должно подразумевать гораздо больше глубины. На мой взгляд, это на самом деле «модель изображений от первого лица» или «модель от первого лица» (может, назовем это FPM).
Также могут быть TPM (модели от третьего лица).
Это лучше соответствует современной игровой и 3D-терминологии, где «мировая модель» может подразумевать коллекции 3D-объектов, пространственно организованных в едином файловом формате — с интерактивностью, звуком и всеми базовыми составляющими того, что можно назвать «миром».
FPM и TPM, подумайте об этом. А POVM оставим для фотографического реализма.
- luciana1u
Часть про «большинство ИИ-игр хотят, чтобы я вошел в систему» — вот это настоящая мировая модель. Игровой мир в порядке, это воронка создания аккаунта полностью реализована.
- hadlock
Это как раз тот случай, когда демо очень выиграло бы от 2-3-минутного видео на YouTube.
Фейковое редактирование: есть более длинное видео здесь, 1 минута: https://github.com/PhiloLabs/fable51-worlds/blob/main/union-...
Мне было бы особенно интересно посмотреть на логику NPC (людей/машин) и понять, движутся ли они по рельсам или что-то в этом роде. Это довольно высокая плотность NPC для демо.
- julien_dev
Эти штуки всегда выглядят впечатляюще, но я не вижу, как их можно использовать за пределами демо или простых игр. По моему опыту, топология часто оказывается запутанной, а текстурирование тоже затруднено.