JEPA世界モデル、600回の実験で判明した「計画の使い方」が性能を3倍にする
After 600 experiments, here's what I discovered about JEPA world models
LeCunらが発表したJEPA世界モデルLeWMを600回実験した記録。予測器を完璧な物理シミュレータに置き換えても成功率は78%対77%でほぼ変わらず、ボトルネックはモデルではなく計画の使い方だった。再学習なしで、25ステップごとのサブゴール連鎖や記憶グラフ、変換による補完などの計画手法を導入し、長距離タスクの成功率を22%から85%まで引き上げている。
訓練された経路に沿ったタスクでは、LeWMの予測は計画にとって既に完璧な物理と同等なのだ。
HNでの議論
36- robotresearcher
ここで繰り返し出てくるテーマで、私には理解できないものがある。例えば：
> (3) そこで、より難しいテストを構築することにした。各タスクは、あるデモンストレーションから開始状態を取り、別のデモンストレーションから目標を取る。
> (4) また、ブロックをどこにでも置けて、任意の目標を選べるインタラクティブなデモも作った。[しかし]
難しいテストの目標は、専門家のデモンストレーションのフレームだ。
なぜデモンストレーションの例にそんなに強く頼るのか？ここでの実際のタスクは、任意の2つの姿勢の間を移動することではないのか？
だから、もしデモンストレーションのセットが何らかの点で統計的に奇妙なら、そこにぶつかり続けることになる。そして、たとえ素晴らしい結果が得られても、それが汎用システムに一般化することを示したことにはならない。物理的なロボットシステムについて100%確実に言えることは、まったく同じ状況に二度と遭遇しないということだ。
評価例を、基礎となるタスクからの独立したサンプルではなく、デモンストレーションから選ぶ理由が実際にあるのか？
T字押し問題には目標到達可能性の問題はないと確信している。そして、もしあったとしても、テスト4は開始姿勢が任意なので、それに遭遇する可能性がある。
- hazrmard
JEPAはモデル予測制御（MPC）と非常に似ている。ここでは、システムのモデルをブラックボックスシミュレータ（ニューラルネット）に置き換え、動的計画法／ベルマン方程式の何らかのバージョンを適用して、計画ホライズン上の最適行動を見つける。
計画段階では、最適化ステップをロールアウトステップから切り離すことで、モデルは潜在空間でダイナミクスを学習することに集中できる。（もう一方のケース、つまりロールアウト＋最適化が学習ループ内で行われる場合は、単なるモデルフリーRLになる。）
私のバックグラウンドは古典制御とデータ駆動制御の両方にまたがっている。ワールドモデルについて学び始めたときに最初に気づいた類似点がこれだった。
JEPAは、単に「M」が潜在空間モデルであるMPCなのか？
- reasonabl_human
実践的な学習は素晴らしいことだ。特にAIの時代にはね！
でも、「発見」から離れて枠組みを変えたほうがいいかもしれない。階層的計画、サブゴール、アクションチャンキングなどはよく理解されている。これはどちらかというと…あなたの個人的な学習の旅の記録？
それでも見るのはクールだ。でも、何か新しい結果があることを期待して読んでいた。こういう種類の投稿はもう少しうまく分類する必要があるだろうね。
- halcdev
質問があれば教えてください！
- cheesecompiler
テーマが本当に読みにくい。意地悪で言ってるわけじゃない、記事は大好きだ。いくつかのブラウザを試したけど、目が本当に疲れた。