Snowflake, Postgres CDC를 Iceberg로 밀어 넣어 복제를 시계처럼 만들다

How We Pushed CDC into Postgres

Snowflake가 Postgres 서비스의 데이터 미러링 기능을 공개 미리보기로 출시했다. 이 기능은 Postgres 변경 데이터 캡처(CDC)를 Iceberg 테이블로 직접 푸시하여 복제 파이프라인의 취약성과 높은 비용, 복잡한 운영 문제를 해결한다. snowflake_cdc 확장 프로그램이 변경 사항을 배치로 객체 스토리지에 기록하고, Snowflake가 이를 트랜잭션 방식으로 적용한다. 이 접근 방식은 스냅샷과 변경 사항 간의 충돌, 업서트(upsert) 성능 저하, 외부 커넥터 장애 등의 문제를 제거하여 복제를 자동으로 지속되는 '스위스 시계'로 만든다.