600 Experimente zeigen: JEPA-Weltmodelle scheitern nicht an der Vorhersage, sondern am Planer
After 600 experiments, here's what I discovered about JEPA world models
Haddy Alchaer hat 600 Experimente mit LeWM durchgeführt, einem JEPA-Weltmodell, das auf Push-T trainiert wurde. Der Austausch des gelernten Prädiktors durch perfekte Physik brachte kaum Verbesserung – die eigentlichen Gewinne kamen aus vier neuen Planungsmethoden ohne Retraining. Besonders wirkungsvoll: das Aufteilen langer Aufgaben in 25-Schritt-Segmente und ein latenter Gedächtnisgraph mit Kosten für Sprünge zwischen Demonstrationen. Eine einzelne Änderung an der Zielbewertung steigerte die Erfolgsrate um 60 Punkte.
Auf den Arten von Pfaden, auf denen es trainiert wurde, sind LeWMs Vorhersagen für die Planung bereits so gut wie perfekte Physik.
- robotresearcher
Hier gibt es ein wiederkehrendes Thema, das ich nicht verstehe. Zum Beispiel:
> (3) Da habe ich beschlossen, einen schwierigeren Test zu bauen, bei dem jede Aufgabe ihren Start von einer Demonstration und ihr Ziel von einer anderen nimmt
> (4) Ich habe auch eine interaktive Demo gebaut, bei der ich den Block überall platzieren und ein beliebiges Ziel auswählen konnte. [aber]
Die Ziele im schwierigeren Test sind Frames aus Experten-Demonstrationen.
Warum so stark auf den Demonstrationsbeispielen herumreiten? Die eigentliche Aufgabe hier ist doch sicher, zwischen zwei beliebigen Posen zu wechseln.
Wenn der Demonstrationsdatensatz also in irgendeiner Weise statistisch seltsam ist, stößt man immer wieder darauf. Und selbst wenn man großartige Ergebnisse erzielt, hat man noch nicht gezeigt, dass es auf das generische System generalisiert. Und das Einzige, was man über ein physisches Robotersystem zu 100 % weiß, ist, dass man niemals genau dieselbe Situation zweimal antreffen wird.
Gibt es tatsächlich einen Grund, Evaluationsbeispiele aus den Demonstrationen auszuwählen, anstatt unabhängige Stichproben aus der zugrundeliegenden Aufgabe zu nehmen?
Ich bin mir ziemlich sicher, dass das T-Schub-Problem keine Probleme mit der Erreichbarkeit von Zielen hat. Und wenn doch, könnte Test 4 darauf stoßen, da die Startpose beliebig ist.
- hazrmard
JEPA ist dem Model Predictive Control sehr ähnlich. Hier tauscht man das Modell des Systems gegen einen Black-Box-Simulator (ein neuronales Netz) aus und wendet eine Art dynamische Programmierung / Bellman-Gleichung an, um die optimale Aktion über den Planungshorizont zu finden.
In der Planungsphase kann man, indem man den Optimierungsschritt vom Rollout-Schritt trennt, das Modell davon befreien, sich auf das Lernen der Dynamik im latenten Raum zu konzentrieren. (Der andere Fall, bei dem Rollout und Optimierung in der Lernschleife stattfinden, wird einfach zu modellfreiem RL.)
Mein Hintergrund überspannt klassische und datengetriebene Regelungstechnik. Das war die erste Ähnlichkeit, die mir auffiel, als ich anfing, etwas über Weltmodelle zu lernen.
Ist JEPA einfach MPC, aber wo das "M" ein Latent-Space-Modell ist?
- reasonabl_human
Praktisches Lernen ist eine tolle Sache – besonders im Zeitalter der KI!
Aber vielleicht lohnt es sich, es weg von „Entdecken“ neu zu formulieren – hierarchische Planung, Teilziele, Action Chunking usw. sind wohlverstanden – das ist eher ein … Transkript deiner persönlichen Lernreise?
Was immer noch cool anzusehen ist. Aber ich habe es durchgelesen und erwartet, dass es irgendeine Art neuartiger Ergebnisse gibt. Wir müssen wahrscheinlich diese Art von Beiträgen etwas besser kategorisieren.
- halcdev
Lass es mich wissen, wenn du Fragen hast!
- cheesecompiler
Das Theme ist wirklich schwer zu lesen. Ich will nicht gemein sein, ich liebe den Artikel. Ich habe ein paar Browser ausprobiert und meine Augen haben wirklich angestrengt.