Massiv parallele Postgres-Backups: 50 GB/s und Petabyte-Skala
Massively Parallel Postgres Backups
Bei PlanetScale werden Backups für shardierte Postgres-Datenbanken mit massiver Parallelität durchgeführt: Für jeden Shard wird eine eigene EC2-Instanz gestartet, die das vorherige Backup aus S3 wiederherstellt, die WAL nachspielt und das neue Backup verschlüsselt hochlädt. Dadurch erreichen sie Übertragungsraten von über 50 GB/s und können Petabyte-Datenbanken in Stunden sichern – ohne die Produktion zu beeinträchtigen. Der Artikel erläutert den gesamten Ablauf, inklusive des initialen Backups und der Nutzung für Resizes und Node-Ersatz.
Backup-Geschwindigkeit skaliert gut: 100 Terabyte auf 100 Shards sichern etwa so schnell wie 1 Terabyte auf einem einzelnen Shard.