Dafts LeRobot-Reader decodiert Videos bis zu 15× schneller
How we made our LeRobot video reader up to 15× faster
Eventual Inc. hat den LeRobot-Videoreader in Daft grundlegend beschleunigt. Statt pro Frame die MP4-Datei erneut zu öffnen und deren Index über das Netzwerk zu laden, verarbeitet eine Batch-UDF nun 16 Zeilen gleichzeitig: Sie gruppiert Frames nach Shard, sortiert und clustert die Zielzeitstempel und decodiert pro Cluster mit nur einem Seek und einem Vorwärtsdurchlauf. Das Ergebnis ist byte-identisch, aber bis zu 15× schneller – bei einem 1080p-Datensatz sinkt die Decodierzeit von 29 Minuten auf unter 2 Minuten. Auch in einer Hand-Tracking-Pipeline verkürzt sich die End-to-End-Zeit von 44,8 auf 9,8 Sekunden.
Der Decoder sucht einmal pro Cluster und liest dann einfach weiter: Jedes decodierte Frame wird mit den Zielen des Clusters verglichen, das jeweils nächste Frame wird behalten, und der Durchlauf stoppt, sobald das letzte Ziel überschritten ist.