DaftのLeRobotビデオリーダーが最大15倍高速化

How we made our LeRobot video reader up to 15× faster

ロボット学習データの標準形式としてLeRobotが台頭する中、Eventual Inc.はデータフレームライブラリDaftにネイティブなLeRobotリーダーを追加しました。当初はフレームごとにリモートファイルを開くため遅く、1フレームあたり約3秒かかっていました。今回、バッチUDFとして実装を刷新し、シャードごとにグループ化してシークとデコードをまとめることで、ネットワークアクセスを削減。公開データセットでは4〜13倍、1080pデータセットでは15倍の高速化を達成し、出力はバイト単位で同一です。