DuckDB DuckLake: открытый формат Lakehouse на SQL и Parquet
DuckLake — это открытый формат Lakehouse, который хранит метаданные в каталоге базы данных, а данные — в файлах Parquet. Расширение DuckDB позволяет напрямую читать и записывать данные из DuckLake. Поддерживаются стандартные SQL-операции, включая обновление, путешествие во времени, эволюцию схемы и ленту изменений данных. Установка выполняется командой INSTALL ducklake.
DuckLake is an open Lakehouse format that is built on SQL and Parquet.
- smithclay
Не думаю, что это широко известно или понято, но Ducklake не требует duckdb: это просто (хорошая) спецификация data lake, которая работает в duckdb.
Есть крутая альтернативная инициатива в экосистеме rust/datafusion на https://github.com/datafusion-contrib/datafusion-ducklake, и, думаю, протокол Quack тоже открывает много крутых возможностей.
Если нужна идея, что делать с ducklake: рекомендую свалить туда все свои agent traces.
- engineeringwoke
Всё нормально, это довольно альфа-софт. На v1.5.4 подсчёты с фильтрацией по каталогу сломаны, насколько я знаю. Я перешёл на main/v2, чтобы это починить, а потом SQL-парсер в duckdb v2 оказался в 10 раз медленнее — ещё одна палка в колёса. Честно говоря, было немного мучительно.
- celias
Motherduck предлагает бесплатную копию книги O'reilly "DuckLake: The Definitive Guide" на своей веб-странице про DuckLake