Ein 40MB-Parquet-Würfel ersetzt Datenbank und Query-Engine für Drilldown-Dashboards
Fast drilldown dashboards from a single Parquet file
Hamilton Ulmer zeigt, wie man mit einem einzigen 40MB großen Parquet-Datenwürfel, einem 18KB großen JavaScript-Reader und Range-Requests an R2 ein schnelles Drilldown-Dashboard für Kundendaten baut – ganz ohne Datenbank oder Query-Engine. Der Trick liegt in der geschickten Anordnung der Daten im File und der Nutzung von Metadaten, sodass der Browser nur winzige Ausschnitte lädt. Am Beispiel des NYC-311-Datensatzes demonstriert er, wie Latenzen von unter einer Sekunde möglich sind und wie die Komplexität in die Datenpipeline verlagert wird.
In der Analytik, wenn man nur Objektspeicher hat, sieht alles wie ein Range-Request aus.