40MB Parquet 파일 하나로 대시보드 드릴다운 구현하기

Fast drilldown dashboards from a single Parquet file

데이터베이스나 쿼리 엔진 없이, 단일 Parquet 파일과 HTTP range request만으로 고객용 분석 대시보드를 구축하는 방법을 소개합니다. 저자는 NYC 311 데이터(약 3,400만 행)를 40MB Parquet 데이터 큐브로 롤업하고, 브라우저에서 동작하는 경량 Parquet 리더인 Hyparquet와 Cloudflare Worker를 이용해 R2에 호스팅했습니다. 파일 레이아웃을 신중히 설계하여 min/max 통계를 활용하면 필요한 행 그룹만 부분적으로 읽어 빠른 응답을 얻을 수 있습니다. 이 접근 방식은 복잡성을 데이터 파이프라인으로 옮기며, 사용량 및 결제 대시보드와 같이 제한된 차트와 필터 조합을 가진 경우에 적합합니다.