DuckDB, 이제 Clojure에서도: 노트북에서 14억 행 조인을 2.5초에 처리
DuckDB – Data power tools for your laptop, now in Clojure (2023)
TechAscent가 Clojure 데이터 과학 플랫폼 tech.ml.dataset(TMD)에 DuckDB 통합을 발표했습니다. DuckDB는 벡터화된 SQL 엔진을 제공하며, 50GB CSV 파일을 2분 만에 18GB 데이터베이스로 변환할 수 있습니다. TMD를 통해 Clojure에서 DuckDB를 사용하면 4억 행의 트랜잭션 데이터와 35,179개의 색상 데이터를 조인하여 14억 행을 2.5초 만에 처리할 수 있습니다. 또한 DuckDB는 자동으로 minmax 인덱스를 생성하고, 제로 카피 쿼리 경로를 지원하여 대용량 데이터 처리 시 메모리 사용을 최적화합니다. 이 통합은 대규모 데이터 처리를 위해 값비싼 분산 시스템 대신 노트북에서 함수형 프로그래밍을 활용할 수 있게 합니다.
DuckDB는 MIT 라이선스로 제공되며, 오픈소스 개발 모델과 빠른 커뮤니티 응답을 갖추고 있습니다. 이렇게 고품질의 파워툴을 이렇게 개방적인 방식으로 개발하는 것은 존경할 만한 일입니다.