DuckDB presenta DuckLake, un formato de lago de datos que combina SQL y Parquet
DuckDB Ducklake
DuckLake es un formato abierto de lakehouse que almacena metadatos en una base de datos de catálogo y los datos en archivos Parquet. La extensión DuckDB permite leer y escribir directamente en DuckLake, con soporte para viaje en el tiempo, evolución de esquema y change data feed. Se instala con INSTALL ducklake y se usa mediante ATTACH y SQL estándar.
DuckLake es un formato abierto de lakehouse que se basa en SQL y Parquet.
- smithclay
No creo que sea muy conocido o entendido, pero Ducklake no requiere duckdb: es solo una (buena) especificación de lago de datos que funciona en duckdb.
Hay una interesante iniciativa alternativa en el ecosistema rust/datafusion en https://github.com/datafusion-contrib/datafusion-ducklake, y creo que el protocolo Quack también abre muchas posibilidades interesantes.
Si necesitas una idea sobre qué hacer con ducklake: recomiendo tirar todos tus rastros de agente ahí.
- engineeringwoke
Está bien, es software bastante alpha. En v1.5.4, los conteos filtrados del catálogo están rotos, que yo sepa. Fui a main/v2 para arreglarlo, y luego el parser SQL en duckdb v2 es 10x más lento, lo que fue otra piedra en el camino. Ha sido un poco doloroso la verdad
- celias
Motherduck está ofreciendo una copia gratis del libro "DuckLake: The Definitive Guide" de O'reilly en su página web de DuckLake