Cloudflare 用数学与 Rust 省下 100TB 内存

Saving another 100TB of RAM with math (and Rust)

在 Cloudflare 的庞大规模下，每一分资源都至关重要。我们的 Performance 团队发现，Pingora Backend Router 中的 pingora-ketama 库存在严重的内存浪费。通过深入分析 consistent hashing 算法的统计特性，我们发现单纯增加哈希点数量虽能平衡负载，却导致内存呈指数级爆炸。最终，我们利用 Rust 的内存对齐机制，将存储索引的字段从 32 位优化为 16 位，在不牺牲功能的前提下，成功在全球范围内回收了超过 100TB 的 RAM。