DuckDB, DuckLake로 데이터 레이크와 카탈로그 통합하다
DuckDB Ducklake
DuckDB가 DuckLake 확장을 공개했다. DuckLake는 SQL과 Parquet 기반의 오픈 레이크하우스 포맷으로, 메타데이터는 카탈로그 데이터베이스에, 데이터는 Parquet 파일에 저장한다. DuckDB에서 직접 읽고 쓸 수 있으며, 표준 SQL로 테이블 생성·수정·조회가 가능하다. 시간 여행, 스키마 진화, 변경 데이터 피드 기능을 지원한다. INSTALL ducklake 명령으로 설치한다.
DuckLake는 SQL과 Parquet 기반의 오픈 레이크하우스 포맷으로, 메타데이터는 카탈로그 데이터베이스에 저장하고 데이터는 Parquet 파일에 저장한다.
- smithclay
Ducklake가 duckdb를 필요로 하지 않는다는 건 널리 알려지거나 이해되고 있지 않은 것 같다. 그냥 duckdb에서 작동하는 (좋은) 데이터 레이크 스펙일 뿐이다.
https://github.com/datafusion-contrib/datafusion-ducklake 에서 멋진 대안 rust/datafusion 생태계 이니셔티브가 진행 중이고, Quack 프로토콜도 많은 멋진 가능성을 열어준다고 생각한다.
ducklake로 뭘 할지 아이디어가 필요하다면: 모든 에이전트 트레이스를 여기에 던져 넣는 걸 추천한다.
- engineeringwoke
괜찮긴 한데, 꽤 알파 단계 소프트웨어다. v1.5.4에서는 카탈로그 필터링된 카운트가 깨져 있는 걸로 안다. main/v2로 가서 고치려 했더니 duckdb v2의 SQL 파서가 10배 느려져서 또 다른 걸림돌이었다. 솔직히 좀 고통스러웠다
- celias
Motherduck이 DuckLake 웹 페이지에서 O'reilly의 "DuckLake: The Definitive Guide" 책을 무료로 제공하고 있다