WalShadow доставляет данные из Postgres в ClickHouse за 200 мс, обгоняя PeerDB в 50 раз
WalShadow: Sub-second Postgres replication to ClickHouse from physical WAL
ClickHouse представила WalShadow — открытый движок репликации из Postgres в ClickHouse напрямую из физического WAL. В бенчмарках транзакции становились видимыми в ClickHouse примерно за 200 мс, а пропускная способность достигала 289 тыс. строк/с, практически не отставая от исходного Postgres. В отличие от традиционных CDC-систем, WalShadow не использует логическую репликацию: он читает тот же поток WAL, что и физические реплики, декодирует его вне исходной базы и пишет нативные блоки ClickHouse. Поддерживаются начальная загрузка, непрерывная репликация, эволюция схемы, восстановление после перезапуска и плановое переключение источника.
WalShadow consumes the same WAL stream Postgres generates for physical replication and recovery. Instead of asking the source database to decode changes into logical events, WalShadow processes the WAL outside the source through four stages.