DuckDB: herramientas de datos para tu portátil, ahora en Clojure

DuckDB – Data power tools for your laptop, now in Clojure (2023)

TechAscent presenta la integración de DuckDB con tech.ml.dataset (TMD) en Clojure, que permite procesar conjuntos de datos masivos, como un CSV de 50 GB con 400 millones de filas, directamente en el portátil. DuckDB reduce el archivo a 18 GB y ejecuta consultas SQL vectorizadas, incluyendo un join de 1.400 millones de filas en 2,5 segundos. La integración ofrece un camino de consulta de copia cero y soporta procesamiento funcional sin quedarse sin memoria, democratizando el análisis de datos sin necesidad de clústeres distribuidos.