Pantograph：用互联网视频训练Minecraft通用模型

A General Goal-Conditioned Minecraft Model

在Pantograph，我们正在训练能够自主运行数小时的通用机器人模型。我们提出了一种创新方法：将互联网规模的视频视为强化学习轨迹，在预训练阶段直接学习目标导向行为，而非依赖传统的后训练。我们的Pan-4B模型在Minecraft中表现惊人，不仅能战斗、探索、搭建，还能泛化到未见过的环境。相比STEVE-1和VLA基线，Pan在各类任务中显著更精准地遵循目标指令。通过将视频帧作为目标，我们绕过了奖励函数设计的难题，让模型从海量无标签数据中自主学习。这不仅是游戏AI的突破，更是通向通用具身智能的关键一步。

"如果我们能在视频数据上大规模进行强化学习，或许就能同时让模型在更多领域实现超越人类的表现。"