DuckDB: 1,4 Milliarden Zeilen in 2,5 Sekunden auf dem Laptop – jetzt in Clojure

DuckDB – Data power tools for your laptop, now in Clojure (2023)

TechAscent zeigt, wie DuckDB als leistungsstarkes Datenbank-System direkt in Clojure genutzt werden kann. Mit der Integration tmducken lassen sich riesige Datenmengen, wie 50 GB CSV-Dateien mit 400 Millionen Zeilen, effizient laden und abfragen. Beeindruckend: Ein Join über 1,4 Milliarden Zeilen läuft in 2,5 Sekunden auf einem normalen Laptop. Die Kombination aus DuckDBs vektorisiertem SQL-Engine und der funktionalen Datenverarbeitung von tech.ml.dataset bietet eine Alternative zu teuren Cluster-Lösungen.