DuckDB DuckLake: SQL und Parquet für das Lakehouse
DuckLake ist ein offenes Lakehouse-Format, das auf SQL und Parquet basiert. Metadaten werden in einer Katalogdatenbank gespeichert, die Daten in Parquet-Dateien. Die DuckDB-Erweiterung ermöglicht direkten Lese- und Schreibzugriff. Nutzer können DuckLake-Datenbanken per ATTACH einbinden und dann mit Standard-SQL arbeiten. Funktionen wie Time Travel, Schema Evolution und Change Data Feed werden unterstützt.
DuckLake is an open Lakehouse format that is built on SQL and Parquet.
- smithclay
Ich glaube nicht, dass es allgemein bekannt oder verstanden ist, aber Ducklake benötigt kein duckdb: Es ist einfach eine (gute) Data-Lake-Spezifikation, die in duckdb funktioniert.
Es gibt eine coole alternative Rust/Datafusion-Ökosystem-Initiative unter https://github.com/datafusion-contrib/datafusion-ducklake, und ich denke, das Quack-Protokoll eröffnet auch viele coole Möglichkeiten.
Wenn du eine Idee brauchst, was du mit ducklake machen kannst: Ich empfehle, alle deine Agent-Traces hineinzuwerfen.
- engineeringwoke
Es ist okay, es ist ziemlich Alpha-Software. In v1.5.4 sind kataloggefilterte Zählungen kaputt, soweit ich weiß. Ich bin zu main/v2 gegangen, um es zu beheben, und dann ist der SQL-Parser in duckdb v2 zehnmal langsamer, was ein weiteres Hindernis war. Es war ehrlich gesagt ein bisschen mühsam.
- celias
Motherduck bietet eine kostenlose Kopie von O'Reillys Buch „DuckLake: The Definitive Guide“ auf ihrer DuckLake-Webseite an