PostHog 为何放弃 DuckDB 自建仓库

Moving our warehouse off DuckDB

五个月前，我们为了避开 ClickHouse 的瓶颈，将数据仓库迁移到了 DuckDB。当时它凭借单节点的高性能和 dbt 的兼容性让我们兴奋不已。然而，随着客户工作负载的激增，DuckDB 在云端的扩展性短板暴露无遗：预测资源需求变得异常困难，DuckLake 的元数据瓶颈导致写入极慢，而模拟 Postgres 协议的连接管理更是消耗了大量精力。我们意识到，单节点引擎在云端难以兼顾弹性与成本。最终，我们决定重构架构，基于 Trino 打造自研的 HogLake 格式，以应对 PB 级数据的挑战。