Claude Fable 5.1がサンフランシスコの街をコードで再現、Three.jsで探索可能な世界を生成
Fable 5.1 World Modeling
PhiloLabsが公開した「fable51-worlds」は、Claude Fable 5.1の自律エージェント群がOpenStreetMapやUSGSのデータを基に、サンフランシスコのユニオン・スクエアとその周辺をブラウザ上で探索可能な3D世界として再構築したプロジェクトです。ゲームエンジンや独自の3Dタイルを使わず、純粋なThree.jsアプリとして提供され、`npm run dev`で実行できます。129の店舗、信号機、ケーブルカー、Apple StoreとNintendoの内部まで再現し、実写とのカメラマッチング検証も実施。コードと生成アセットはMITライセンスで公開されています。
すべての建物、店舗、看板、木、信号機は、このリポジトリにあるコードによって、オープンデータと公開された参照画像から生成されています。
HNでの議論
51- kodefreeze
私はRTSゲームを構築する際にこの種のモデリングを試しました: https://playwarpact.com
いくつか気づいた点:
1. Opus 5もこれに関しては同等に優れており、しかも安価です。
2. 最適化された3Dモデルは生成されません。単純な形状でもポリゴン数が多くなります。
3. ゲーム用アセットとして私が採用したより良いアプローチは、モデルを使って3Dモデルのローポリシルエットを作成し、Meshyのようなツールで窓やドアなどの詳細を含むテクスチャをベイクすることです。興味があればチュートリアルを投稿できます。
これを自律的に行うには、モデルにもう少し強化学習が必要です。
- WordNotSee
根本的には、これはシーケンスのフレームを予測する画像モデルです。
しかし、単なる画像モデルと呼ぶだけでは不十分です。世界の画像をレンダリングすることに特化しているため、完全なビデオとも言えません。
そこで「ワールドモデル」と呼ぶのでしょうか？
私が「ワールド」という言葉に問題を感じるのは、もっと深い意味を含意すべきだからです。私にとってこれは実際には「POV画像モデル」または「一人称視点モデル」（これをFPMと呼ぶかもしれません）です。
また、TPM（三人称モデル）も存在し得ます。
これは現代のゲームや3D開発の用語により良く対応しています。そこでは「ワールドモデル」は、一貫したファイル形式で空間的に整理された3Dオブジェクトの集合を意味し、インタラクティブ性、オーディオ、そして「ワールド」と呼べるものの基本的な構成要素をすべて備えていることを含意します。
FPMとTPMについて考えてみてください。写真的リアリズムにはPOVMを取っておきましょう。
- luciana1u
「ほとんどのAIゲームはサインインを要求する」という部分が本当のワールドモデルです。ゲームの世界は問題ありませんが、アカウント作成のファネルが完全に実現されています。
- hadlock
これは2〜3分のYouTubeデモが本当に効果的な種類のデモです。
フェイク編集: ここに1分間の長めのビデオがあります: https://github.com/PhiloLabs/fable51-worlds/blob/main/union-...
特にNPCの人物や車のロジックがどのように動くのか、レールに乗っているのかどうかを見てみたいです。デモとしてはかなり高いNPC密度です。
- julien_dev
こういったものはいつも印象的に見えますが、デモや単純なゲーム以外でどう活用できるのか私にはわかりません。私の経験では、トポロジーが乱雑であることが多く、テクスチャリングも難しいです。