40MB Parquetファイルだけで高速ドリルダウンダッシュボードを実現

Fast drilldown dashboards from a single Parquet file

MotherDuckのエンジニアであるHamilton Ulmer氏が、データベースやクエリエンジンを使わずに、単一のParquetファイルとHTTP rangeリクエストだけで顧客向けダッシュボードを構築する方法を紹介。NYC 311の約3,400万件のデータを40MBのParquetキューブに集約し、Cloudflare R2上にホスト。ブラウザ上のJavaScript Parquetリーダー「Hyparquet」とCloudflare Workerのプロキシを組み合わせ、わずか数回のrangeリクエストで高速なドリルダウンを実現している。ファイルのレイアウトとソート戦略が重要で、データパイプライン側に複雑さをオフロードするアプローチだ。