Claude Fable 5.1, 코드로 현실 세계를 재현하다: 유니언 스퀘어를 Three.js로
Fable 5.1 World Modeling
PhiloLabs가 GitHub에 공개한 'fable51-worlds'는 자율 에이전트 군단(Claude Fable 5.1)이 조사, 모델링, 품질 검증을 거쳐 실제 장소를 브라우저에서 탐험 가능한 3D 재구성물로 만든다. 게임 엔진이나 독점 3D 타일 없이 순수 Three.js 앱으로 제공되며, 코드는 공개 데이터와 참조 이미지로부터 모든 건물, 간판, 나무, 신호등을 생성한다. 첫 번째 세계는 샌프란시스코 유니언 스퀘어로, 실제 지형과 도로망 위에 453개의 건물(OSM 기반), 129개의 상점, 220명의 보행자, 케이블카, Apple과 Nintendo 매장의 실내까지 재현한다. 모든 파이프라인 단계가 저장소에 있어 재실행 가능하며, 카메라 매칭 QA와 독립 검토자 에이전트가 정확성을 검증한다.
모든 건물, 상점, 간판, 나무, 신호등은 이 저장소에 있는 코드에 의해 공개 데이터와 공개 참조 이미지로부터 생성됩니다.
HN 토론
51- kodefreeze
저는 제가 만들고 있는 RTS 게임을 위해 이런 유형의 모델링을 실험해 봤습니다: https://playwarpact.com
몇 가지 사항:
1. Opus 5도 이 작업에는 그만큼 좋고 더 저렴합니다.
2. 최적화된 3D 모델을 생성하지 않습니다. 단순한 지오메트리에 비해 폴리곤 수가 높습니다.
3. 제가 게임용 자산을 만들 때 사용한 더 나은 접근 방식은 모델을 사용하여 3D 모델의 저폴리 실루엣을 만든 다음 Meshy와 같은 도구로 창문, 문 등 더 많은 세부 정보를 포함하는 텍스처를 베이크하는 것입니다. 관심이 있으시면 튜토리얼을 게시할 수 있습니다.
모델이 이를 자율적으로 수행하려면 더 많은 강화 학습이 필요합니다.
- WordNotSee
근본적으로 이것은 시퀀스의 프레임을 예측하는 이미지 모델입니다.
그러나 단순히 이미지 모델이라고 부르기에는 부족합니다. 세계의 이미지를 렌더링하는 데 매우 특화되어 있어 비디오라고도 할 수 없습니다.
그래서 '월드 모델'일까요?
제가 '월드'라는 용어에 대해 문제를 느끼는 점은 그것이 훨씬 더 깊은 의미를 함축해야 한다는 것입니다. 제 생각에 이것은 실제로 '시점 이미지 모델' 또는 '1인칭 시점 모델'(FPM이라고 부를 수 있음)입니다.
3인칭 모델(TPM)도 있을 수 있습니다.
이것은 현대 게임 및 3D 개발 용어에 더 잘 매핑됩니다. '월드 모델'은 상호작용, 오디오, 그리고 '월드'라고 부를 수 있는 모든 기본 구성 요소를 갖춘 응집력 있는 파일 형식으로 공간적으로 조직된 3D 객체 컬렉션을 의미할 수 있기 때문입니다.
FPM과 TPM, 생각해 보세요. 사진적 사실감을 위해 POVM은 남겨 두세요.
- luciana1u
'대부분의 AI 게임이 로그인을 요구한다'는 부분이 진짜 월드 모델입니다. 게임 세계는 괜찮지만, 계정 생성 퍼널이 완전히 구현되어 있습니다.
- hadlock
이런 종류의 데모는 2-3분짜리 YouTube 데모가 있으면 정말 도움이 될 것입니다.
가짜 편집: 여기에 1분 길이의 더 긴 비디오가 있습니다: https://github.com/PhiloLabs/fable51-worlds/blob/main/union-...
특히 NPC 사람/차량 로직이 궁금합니다. 레일 위에 있는지 아니면 어떤지, 데모치고는 꽤 높은 NPC 밀도입니다.
- julien_dev
이런 것들은 항상 인상적으로 보이지만 데모나 간단한 게임을 넘어 어떻게 사용할 수 있는지 잘 모르겠습니다. 제 경험상 토폴로지가 지저분한 경우가 많고 텍스처링도 어렵습니다.