LeRobot 비디오 리더를 15배 빠르게 만든 방법

How we made our LeRobot video reader up to 15× faster

Eventual Inc.는 오픈소스 분산 데이터프레임 엔진 Daft에 LeRobot 데이터셋용 네이티브 리더를 추가했다. 초기 버전은 프레임마다 원격으로 MP4 샤드를 열어 인덱스를 다시 읽어야 해서 느렸다. 이를 배치 UDF로 바꿔 샤드별로 프레임을 묶고, 타임스탬프 순으로 정렬한 뒤 10초 이내의 프레임은 한 번의 seek로 연속 디코딩하도록 개선했다. 그 결과 원격 데이터셋에서 8프레임 디코딩이 25초에서 3.9초로 줄었고, 1080p 데이터셋의 632프레임 전체 디코딩은 29분에서 2분 미만으로 15배 빨라졌다. 출력은 이전과 바이트 단위로 동일하다.