ClickHouse stellt WalShadow vor: Postgres-Replikation in 200 ms direkt aus dem physischen WAL
WalShadow: Sub-second Postgres replication to ClickHouse from physical WAL
ClickHouse hat WalShadow veröffentlicht, eine Open-Source-Engine, die Postgres-Daten direkt aus dem physischen WAL nach ClickHouse repliziert. In Benchmarks wurden Transaktionen in etwa 200 ms sichtbar, mit 289.000 Zeilen pro Sekunde – fast so schnell wie die Quelle. Statt logischer Replikation nutzt WalShadow den physischen WAL-Strom, dekodiert außerhalb der Datenbank und schreibt ClickHouse-native Blöcke. Das eliminiert logische Replikationsslots und senkt die Last auf der Quellinstanz.
Die Quelle muss nur physisches WAL versenden, was zu einem Lastprofil ähnlich einem physischen Standby führt und es ermöglicht, Änderungen innerhalb einer Sekunde nach ClickHouse zu bringen.