Дашборд с drilldown на одном Parquet-файле: 40 МБ, 18 КБ кода и HTTP range-запросы
Fast drilldown dashboards from a single Parquet file
Инженер из MotherDuck показывает, как построить интерактивный дашборд для клиентов без базы данных и query engine. Он свернул 34 миллиона строк данных NYC 311 в 40-мегабайтный Parquet-куб, разместил его в R2 и отдаёт через Cloudflare Worker. Браузер читает только нужные диапазоны байтов с помощью Hyparquet — JavaScript-читалки Parquet. Ключ к скорости — сортировка строк и группировка наборов, чтобы min/max статистика отсекала лишние row groups. Подход работает для ограниченного набора фильтров и агрегаций, а куб пересобирается для каждого клиента.
В аналитике, когда у тебя есть только object storage, всё выглядит как range-запрос.