WalShadow：Postgres到ClickHouse亚秒级复制

WalShadow: Sub-second Postgres replication to ClickHouse from physical WAL

我们推出了WalShadow，一款开源引擎，能直接从Postgres的物理WAL将数据复制到ClickHouse。测试显示，Postgres提交的事务在约200毫秒内即可在ClickHouse中可见，吞吐量高达每秒28.9万行。与传统基于逻辑复制的CDC系统不同，WalShadow不依赖Postgres逻辑复制槽，而是直接消费物理WAL流，在源数据库外部解码并写入ClickHouse原生数据块。这不仅消除了逻辑复制带来的操作开销，还显著降低了源Postgres实例的资源消耗，同时支持复杂的Schema变更。WalShadow让ClickHouse真正成为了一个分析型的物理备库，实现了低延迟与高吞吐的完美平衡。