DuckDBがClojureから使えるように：ノートPCで14億行を2.5秒で結合

DuckDB – Data power tools for your laptop, now in Clojure (2023)

TechAscentが、Clojureのデータ処理ライブラリtech.ml.dataset（TMD）からDuckDBを利用できるようにした「tmducken」の統合について紹介。50GBのCSVファイルをDuckDBに読み込み、400M件のトランザクションと35,179件のSKUカラーデータを結合する例を通じて、ノートPC上で14億行の結合を2.5秒で実行できることを示す。DuckDBのベクトル化SQLエンジンとバッチ処理APIを活用し、メモリに収まらない大規模データを扱うための実用的なソリューションを提供する。