JEPA完全解説：ゼロから作る自己教師あり学習

The Annotated JEPA

JEPA（Joint Embedding Predictive Architecture）は、Yann LeCunが提唱する自己教師あり学習の枠組みで、ラベルなしで世界を理解するモデルを訓練することを目指します。この記事では、Transformerの解説で有名な「The Annotated Transformer」のスタイルを踏襲し、JEPAの核心をステップバイステップで解説します。具体的には、画像向けのI-JEPAをPyTorchでゼロから実装し、その仕組みを詳細に説明します。さらに、ビデオ向けのV-JEPAや、ヒューリスティックな正則化を置き換えるLeJEPAへの拡張も紹介します。JEPAがなぜピクセル空間ではなく表現空間で予測を行うのか、表現の崩壊を防ぐ仕組み、そして画像や動画への応用まで、数学と実装の両面から掘り下げます。