LeWM logra el 85% en tareas de largo horizonte sin reentrenar, solo cambiando el planificador
After 600 experiments, here's what I discovered about JEPA world models
Haddy Alchaer ejecutó 600 experimentos sobre LeWM, el modelo del mundo JEPA de Yann LeCun, y descubrió que su horizonte útil de planificación es de unos 25 pasos. Encadenando subobjetivos de esa longitud, el éxito en tareas de 75 pasos sube del 22% al 85%. Además, un grafo de memoria latente con costo por salto y la transformación de recuerdos para cubrir huecos elevan aún más el rendimiento sin ningún entrenamiento adicional.
En los tipos de trayectorias con los que fue entrenado, las predicciones de LeWM ya son tan buenas como la física perfecta para planificar.
- robotresearcher
Hay un tema recurrente aquí que no entiendo. Por ejemplo:
> (3) Ahí es donde decidí construir una prueba más difícil, donde cada tarea toma su inicio de una demostración y su objetivo de otra
> (4) También construí una demo interactiva donde podía colocar el bloque en cualquier lugar y elegir cualquier objetivo. [pero]
Los objetivos en la prueba más difícil son fotogramas de demostraciones de expertos.
¿Por qué apoyarse tanto en los ejemplos de demostración? Seguramente la tarea real aquí es moverse entre dos poses arbitrarias cualesquiera.
Así que si el conjunto de demostraciones es estadísticamente extraño de alguna manera, sigues chocando con eso. E incluso si obtienes grandes resultados, todavía no has demostrado que generalice al sistema genérico. Y lo único que sabes al 100% sobre un sistema robótico físico es que nunca encontrarás exactamente la misma situación dos veces.
¿Hay realmente una razón para elegir ejemplos de evaluación de las demostraciones en lugar de muestras independientes de la tarea subyacente?
Estoy bastante seguro de que el problema de empujar la T no tiene problemas de alcanzabilidad de objetivos. Y si los tuviera, la prueba 4 podría encontrarlos ya que la pose inicial es arbitraria.
- hazrmard
JEPA es muy similar al Control Predictivo de Modelos (MPC). Aquí, cambias el modelo del sistema por un simulador de caja negra (una red neuronal), aplicas alguna versión de programación dinámica / ecuación de Bellman para encontrar la acción óptima sobre el horizonte de planificación.
En la etapa de planificación, al factorizar el paso de optimización del paso de rollout, puedes liberar al modelo para que se centre en aprender la dinámica en el espacio latente. (El otro caso, donde el rollout+optimización ocurren en el bucle de aprendizaje, simplemente se convierte en RL sin modelo).
Mi formación abarca tanto el control clásico como el basado en datos. Esta fue la primera similitud que me saltó a la vista cuando empecé a aprender sobre modelos del mundo.
¿Es JEPA simplemente MPC pero donde la "M" es un modelo en espacio latente?
- reasonabl_human
El aprendizaje práctico es algo increíble, ¡especialmente en la era de la IA!
Pero quizás valga la pena replantearlo alejándolo de "descubrir": la planificación jerárquica, los subobjetivos, el chunking de acciones, etc. están bien entendidos. Esto es más bien... ¿una transcripción de tu viaje personal de aprendizaje?
Lo cual sigue siendo genial de ver. Pero leí esperando que hubiera algún tipo de resultados novedosos. Probablemente necesitemos categorizar mejor este tipo de publicaciones.
- halcdev
¡Avísame si tienes alguna pregunta!
- cheesecompiler
El tema es realmente difícil de leer. No quiero ser grosero, me encanta el artículo. Probé varios navegadores y mis ojos realmente se esforzaron.