Apache Kafka встроил зеркалирование кластеров прямо в брокер
Data liberation: Apache Kafka's native cluster mirroring
KIP-1279 добавляет в Apache Kafka нативное зеркалирование кластеров: брокер-получатель забирает закоммиченные записи из исходного кластера по тому же протоколу, что и обычные фолловеры, и добавляет их в локальные логи байт в байт. Никаких внешних процессов, пересжатия и таблиц трансляции офсетов. Зеркало сохраняет офсеты, сжатие и состояние consumer-групп, а переключение сводится к остановке зеркала и перенаправлению клиентов.
Зеркало сохраняет офсеты, сжатие и состояние consumer-групп, делая failover таким же простым, как остановка зеркала и перенаправление клиентов.