로봇 데이터 플랫폼을 'YouTube 시스템 설계'로 풀어낸 사례
YouTube System Design for Robotics Data Infrastructure
Hebbian Robotics가 로봇 학습 데이터 플랫폼 'Pareto'를 구축하며 겪은 경험을 YouTube 시스템 설계와 비교해 설명한다. 수천 명의 사용자가 동영상을 업로드하는 YouTube와 달리, 로봇 데이터셋은 하나의 데이터셋에 수천 개의 동영상이 포함된다. 이들은 업로드, 처리, 저장, 인덱싱, 스트리밍의 파이프라인을 YouTube와 유사하게 구성했다. 원본 데이터는 객체 스토리지에 보관하고, Temporal로 장기 실행 작업을 관리하며, GPU 워커를 탄력적으로 운영한다. 또한 사용자가 전체 데이터셋을 다운로드하지 않고도 미리보기와 검색이 가능하도록 스트리밍 방식을 채택했다. 저자는 초기부터 대규모 시스템을 설계하기보다 구조적 결정에 집중하고, 필요할 때 확장할 수 있는 'cattle, not pets' 접근법을 강조한다.
로봇 데이터는 단순히 비디오 스트리밍에 몇 개의 열을 더한 것이 아닙니다. 하나의 에피소드에는 서로 다른 샘플링 속도를 가진 카메라 피드, 동작, 관절 상태, 주석, 센서 스트림이 포함될 수 있으며, 이 모든 것이 정렬된 상태를 유지해야 합니다.