Cloudflare Queues로 텔레메트리 스트림을 시간별 압축 아카이브로 바꾸는 더블 버퍼링

Double Buffering with Cloudflare Queues

Cloudflare Workers, Queues, Workflows, R2를 조합해 텔레메트리 이벤트를 UTC 시간 단위로 묶어 수집·배치 처리하는 파이프라인이다. 이벤트 타임스탬프의 UTC 시각을 2로 나눈 나머지로 짝수·홀수 큐에 나눠 보내고, 매시 30분에 트리거되는 consumer가 지난 한 시간의 비활성 큐를 비우는 방식으로 동작한다. 모듈로 연산으로 활성 큐를 고르고 DST 문제를 피하려 UTC를 쓰며, 배치는 gzip 압축 후 연/월/일/시 경로로 R2에 저장된다. 그 결과 다운스트림 분석에 최적화된 파티션형 서버리스 데이터 레이크를 낮은 저장 비용으로 얻는다.