RapidsMPF logra shuffling out-of-core a 1.8 TiB/s
Accelerated Out of Core Shuffling
RapidsMPF es un shuffler reutilizable out-of-core que convierte los problemas de memoria en un derrame presupuestable. En una DGX B200 con 8 GPUs, alcanza 1.8 TiB/s de throughput global al hacer shuffling de 160 GiB. El artículo explica por qué los joins distribuidos son intensivos en memoria y cómo RapidsMPF permite manejar datos mayores que la VRAM.
Shuffling data at 1.8 TiB/s! RapidsMPF is a reusable, out-of-core shuffler that turns shuffling OOM headaches into a spill you can budget for.