用YouTube架构设计机器人数据平台

YouTube System Design for Robotics Data Infrastructure

当我们开始构建机器人数据平台时，初衷并非复刻YouTube。但很快发现，处理海量视频上传、后台转码、元数据索引及流式播放的需求，与视频平台惊人相似。我们将LeRobot数据集中的多模态记录（如相机流、关节状态）视为复杂视频，利用Pareto系统实现了类似YouTube的上传、处理和检索流程。通过Temporal管理长时任务，结合Postgres与LanceDB分离存储，我们既保证了数据的完整性，又实现了按需流式播放。这种设计思维让我们明白：不必从零造轮子，借鉴成熟架构能更高效地解决机器人数据基础设施的难题。

"如果我们把成千上万用户上传单个视频的场景，重构为单个机器人数据集上传成千上万个视频，两者的相似性就会变得清晰可见。"