Warum Spalten die Datenbanken für Analytics schneller machen
Rows vs. Columns: How different are they, really?
Ein CSV mit Fahrraddaten zeigt den Unterschied: Zeilenspeicher wie Postgres und MySQL halten alle Felder eines Datensatzes zusammen, was für einzelne Lese- und Schreibzugriffe ideal ist. Für Analytics braucht man jedoch oft nur wenige Spalten über alle Zeilen hinweg. Spaltenspeicher wie DuckDB und ClickHouse lesen deshalb nur die benötigten Werte – bei einer Million Fahrten etwa 4 MB statt 48 MB. Dazu kommen vektorisierte Ausführung, SIMD und bessere Kompression.
Ein Ride ist 48 Bytes groß, und duration_min belegt davon nur 4 – im Zeilenlayout müssen wir also alle 48 Bytes laden, um diese 4 zu lesen, das ist die zwölffache Menge dessen, was wir eigentlich brauchen.