MySQL CDC to BigQuery: 주기적 동기화가 놓치는 것과 binlog가 해결하는 방법

MySQL CDC to BigQuery: what periodic syncs miss, and how binlog avoids it

MySQL에서 BigQuery로 데이터를 옮길 때 흔히 쓰는 주기적 동기화는 삭제된 행이나 중간 변경 상태를 놓치기 쉽고, 프로덕션 DB에 부하를 줍니다. 이 글은 MySQL의 binlog를 활용한 CDC(Change Data Capture)가 어떻게 모든 변경을 정확히 포착하는지, 필요한 MySQL 설정(ROW 포맷, FULL row image, 권한 등)과 BigQuery로 안정적으로 적재하는 방법을 단계별로 설명합니다. 또한 관리형 플랫폼(Erathos 등)이 server-id 충돌, binlog 보존 기간 등 복잡한 문제를 어떻게 처리하는지도 다룹니다.