Diseño de sistemas estilo YouTube para datos de robótica
YouTube System Design for Robotics Data Infrastructure
Pareto, la plataforma open source de Hebbian Robotics para datos de robótica, se construyó aplicando los principios de diseño de YouTube. El artículo explica cómo gestionan la subida fiable de grandes archivos, el procesamiento en pipeline con Temporal, el almacenamiento en object storage, la indexación multimodal con LanceDB y el streaming eficiente en el navegador. La clave está en tratar cada dataset de robótica como un canal de YouTube con miles de vídeos, pero con la complejidad añadida de múltiples cámaras y señales sincronizadas.
Un episodio de datos de robot es un registro multimodal: puede contener varias cámaras (muñecas, superior, pecho, etc.) junto con posiciones de articulaciones, acciones, lecturas de fuerza, marcas de tiempo, descripciones de tareas y otros flujos de sensores.