Claude Fable 5.1 用代码重建旧金山
Fable 5.1 World Modeling

PhiloLabs 团队利用自主的 Claude Fable 5.1 智能体集群,通过代码从零构建了旧金山 Union Square 的虚拟世界。这个项目不依赖任何游戏引擎或专有 3D 瓦片技术,而是完全基于 OpenStreetMap 数据和公开影像,生成包含 453 栋建筑、129 家店铺以及 Apple Union Square 和 Nintendo SAN FRANCISCO 可探索内部空间的 Three.js 应用。从数据采集、Blender 资产生成到 Playwright 自动化的相机视角验证,整个流程完全开源且可复现。这不仅展示了 AI 在复杂空间建模上的潜力,更提供了一种无需传统 3D 工具即可创建高保真现实世界副本的全新范式。
每一栋建筑、店面、招牌、树木和交通灯,都是由代码根据公开数据和公共参考影像生成的。
HN 评论区
94- kodefreeze
我在开发一款 RTS 游戏时也尝试过这种建模方式:https://playwarpact.com
几点看法:
1. 说实话,Opus 5 在这方面效果一样好,而且更便宜。
2. 它们生成的并不是优化过的 3D 模型。简单的几何体往往面数过高。
3. 我用来制作游戏就绪资产的一个更好方法是:先用模型生成 3D 模型的低多边形轮廓,然后利用 Meshy 等工具烘焙包含更多细节(如窗户、门等)的纹理。如果大家感兴趣,我可以发个教程。
这些模型还需要更多的强化学习(RL)才能自主完成这些操作。
- julien_dev
这类东西看起来总是很 impressive,但我实在看不出除了演示或简单游戏之外还有什么实际用途。根据我的经验,拓扑结构往往一团糟,纹理处理也很困难。
- hadlock
这种演示如果能有一个 2-3 分钟的 YouTube 视频展示,效果会好得多。
伪编辑:这里有一个更长的 1 分钟视频:https://github.com/PhiloLabs/fable51-worlds/blob/main/union-...
我特别好奇 NPC 的人物/车辆逻辑是怎样的,是跑在轨道上还是别的什么?这个演示的 NPC 密度相当不错。
- jaybuff
这完全不是我听到“世界模型”时预期的东西!
- WordNotSee
从根本上说,这是一个预测序列帧的图像模型。
但仅仅称之为图像模型是不够的。它也不完全是视频,因为它太专注于渲染世界图像了。
所以,“世界模型”?
我对“世界”这个词的顾虑在于,它应该暗示更深层次的含义。在我看来,这实际上是一个“POV 图像模型”或“第一人称视角模型”(也许我们可以称之为 FPM)。
也可能存在 TPM(第三人称模型)。
这更符合现代游戏和 3D 开发的术语习惯,在那里“世界模型”可能暗示着在连贯文件格式中空间组织的 3D 对象集合——包含交互性、音频以及人们可能称之为“世界”的所有基础要素。
FPM 和 TPM,想想看。把 POVM 留给摄影级写实吧。