Fable 5.1 baut komplette 3D-Städte aus Open Data – ohne Game-Engine
Fable 5.1 World Modeling
Das Open-Source-Projekt fable51-worlds von PhiloLabs zeigt, wie autonome Claude-Fable-5.1-Agenten realistische, im Browser erkundbare 3D-Nachbildungen realer Orte erstellen. Am Beispiel des Union Square in San Francisco entstehen 453 Gebäude, 129 Geschäfte, begehbare Innenräume von Apple und Nintendo sowie Verkehr und Fußgänger – allein aus OpenStreetMap-Daten und öffentlichen Fotos. Der gesamte Prozess von der Recherche bis zur Qualitätskontrolle ist im Repository dokumentiert und reproduzierbar. Die resultierenden Welten laufen als reine Three.js-Apps ohne proprietäre 3D-Tiles oder Game-Engine.
Jedes Gebäude, jedes Schaufenster, jedes Schild, jeder Baum und jede Ampel wird aus offenen Daten und öffentlichem Referenzbildmaterial durch Code erzeugt, der in diesem Repository liegt.
- kodefreeze
Ich habe mit dieser Art von Modellierung für ein Echtzeit-Strategiespiel experimentiert, das ich gerade baue: https://playwarpact.com
Ein paar Dinge:
1. Opus 5 ist ehrlich gesagt genauso gut dafür und billiger.
2. Sie erzeugen keine optimierten 3D-Modelle. Sie haben eine hohe Polygonanzahl für einfache Geometrien.
3. Ein besserer Ansatz, den ich für spielbereite Assets verwendet habe, ist, das Modell zu nutzen, um Low-Poly-Silhouetten des 3D-Modells zu erstellen und dann Texturen zu backen, die viel mehr Details wie Fenster, Türen usw. enthalten, mit Werkzeugen wie Meshy. Kann ein Tutorial posten, falls Interesse besteht.
Die Modelle brauchen noch etwas mehr Reinforcement Learning, um das autonom zu können.
- WordNotSee
Im Grunde ist es ein Bildmodell, das Frames einer Sequenz vorhersagt.
Es reicht nicht, es nur als Bildmodell zu bezeichnen. Es ist auch nicht ganz Video, weil es so spezifisch auf das Rendern von Bildern der Welt ausgerichtet ist.
Also: "Weltmodell"?
Das Problem, das ich mit "Welt" habe, ist, dass es so viel mehr Tiefe implizieren sollte. Für mich ist das eigentlich ein "POV-Bildmodell" oder "Ego-Perspektiven-Modell" (vielleicht nennen wir es FPM).
Es könnte auch TPMs (Third-Person-Modelle) geben.
Das passt besser zur modernen Spiel- und 3D-Entwicklungs-Terminologie, wo "Weltmodell" 3D-Objektsammlungen implizieren könnte, die räumlich in einem kohärenten Dateiformat organisiert sind – komplett mit Interaktivität, Audio und allen grundlegenden Bestandteilen dessen, was man eine "Welt" nennen könnte.
FPMs und TPMs, denkt mal darüber nach. Reserviert POVMs für fotografischen Realismus.
- luciana1u
Der Teil, dass die meisten KI-Spiele wollen, dass man sich anmeldet, ist das eigentliche Weltmodell. Die Spielwelt ist in Ordnung, es ist der Kontoerstellungstrichter, der vollständig umgesetzt ist.
- hadlock
Diese Art von Demo würde wirklich von einer 2-3-minütigen YouTube-Demo profitieren.
Fake-Edit: Es gibt hier ein längeres Video, 1 Minute lang: https://github.com/PhiloLabs/fable51-worlds/blob/main/union-...
Ich wäre besonders neugierig, die NPC-Personen-/Auto-Logik zu sehen und ob sie auf Schienen sind oder was, das ist eine ziemlich gute NPC-Dichte für eine Demo.
- julien_dev
Diese Dinge sehen immer beeindruckend aus, aber ich sehe nicht, wie sie über Demos oder einfache Spiele hinaus nutzbar sind. Meiner Erfahrung nach ist die Topologie oft ein Chaos und die Texturierung ist auch schwierig.