Dashboards ultrarrápidos desde un único archivo Parquet
Fast drilldown dashboards from a single Parquet file
Con un cubo de datos Parquet de 40MB, un lector JavaScript de 18KB y un bucket R2, se puede servir un dashboard interactivo de drilldown sin base de datos ni motor de consultas. El autor, ingeniero en MotherDuck, precalcula los resultados de las consultas en un cubo y usa peticiones de rango HTTP para leer solo las filas necesarias. El dashboard de ejemplo, con 34 millones de filas de datos de NYC 311, responde en milisegundos. La clave está en el diseño del cubo y en las estadísticas min/max de Parquet.
En analytics, cuando todo lo que tienes es almacenamiento de objetos, todo parece una petición de rango.
- simonw
> Los bytes pasan a través de un pequeño Cloudflare Worker en el camino, porque la URL gratuita de r2.dev está limitada por velocidad.
Para un archivo de 40MB sugiero alojarlo directamente en GitHub Pages: eso es efectivamente una CDN gratuita con CORS habilitado y soporta solicitudes de rango HTTP, por lo que deberías poder hacer funcionar esa demo sin necesidad de involucrar Cloudflare Workers en absoluto.
- wyck
En la superficie (no lo he probado) parece un gran ahorro de costos y tiempo de ejecución, pero solo para conjuntos de datos que necesitan una cadencia superior a 5 minutos más o menos. No podrías tener un botón de actualizar para obtener los datos "más recientes" fuera de esta ventana, dependiendo del tamaño y el tiempo de construcción. Me pregunto si se puede aplicar un enfoque híbrido, combinando el archivo parquet histórico con una consulta en vivo.
- mrbluecoat
Una reutilización inteligente de tecnologías, pero en realidad solo vale la pena para conjuntos de datos estáticos con cargas útiles de rango lo suficientemente pequeñas como para caber en una respuesta web.
> tu pipeline tiene que reconstruir el archivo de cada cliente lo suficientemente rápido para cumplir con la cadencia de actualización. ... datos que se actualizan en un horario grueso en lugar de en tiempo real