Cloudflare Queuesで二重バッファリング、テレメトリを時間単位で圧縮アーカイブ

Double Buffering with Cloudflare Queues

Cloudflare Workers・Queues・Workflows・R2を組み合わせ、テレメトリイベントをUTCの時間単位で収集・分割するパイプライン。タイムスタンプの偶数・奇数時間でメッセージを2つのキューに振り分け、毎時30分に非アクティブ側を消費してgzip圧縮し、年/月/日/時のパスでR2に書き込む。DSTを避けるためUTCを使い、サーバーレスのデータレイクを低コストで実現する。