DuckDB 让 Clojure 在笔记本上处理百亿行数据
DuckDB – Data power tools for your laptop, now in Clojure (2023)
当数据量膨胀到无法装入内存时，传统方案往往被迫转向复杂的 Spark 集群。但在 DuckDB 与 Clojure 生态中的 tech.ml.dataset（TMD）结合后，情况发生了改变。我们利用 DuckDB 的向量化 SQL 引擎，在普通笔记本上轻松加载并压缩了 50GB 的 CSV 文件，实现了 4 亿行交易数据的高效存储。通过 tmducken 库，我们不仅能在 2.5 秒内完成 14 亿行的 JOIN 操作，还能利用零拷贝机制进行流式处理，彻底摆脱了内存限制。这种组合让小型团队无需昂贵的分布式架构，就能在本地高效管理海量数据，真正实现了数据处理的民主化。
这种集成支持并体现了高质量高效计算工具的价值，通过在笔记本电脑上实现函数式解决方案，真正实现了数据处理的民主化，让其他使用低效工具的人不得不求助于集群来处理。
HN 评论区
21- eterm
DuckDB CLI 功能极其强大，它能加载各种格式的文件，比如 gzip 压缩的 JSON Lines。这意味着你可以直接把压缩后的日志塞进某个目录，需要时还能轻松用 SQL 进行查询。
- kianN
我是 tmducken 的忠实粉丝，我们在生产环境中大量使用它。不过，最近我们在新项目中开始探索 ducktape [1]，对其性能印象深刻。它在插入和查询时支持更复杂的数据类型，这对我们很有帮助。我与该项目没有任何关联，只是因为它比较新，想给它一些关注。它是由 tmducken 的一位活跃贡献者创建的。
- didibus
令人印象深刻，如今在处理大数据查询时，单节点确实能完成很多工作。我同意，太多人一上来就直接上 Spark 集群或类似方案，其实完全可以在单节点上写个小脚本搞定。