RapidsMPF shuffelt Daten mit 1,8 TiB/s
Accelerated Out of Core Shuffling
RapidsMPF ist eine wiederverwendbare Out-of-Core-Shuffle-Bibliothek, die speicherintensive Shuffles durch kontrollierbares Spilling ersetzt. Auf einem DGXB200 mit acht Blackwell-GPUs erreicht sie 1,8 TiB/s globalen Durchsatz bei 160 GiB Daten. Sie kommt in cuDF Polars, NeMo-Curator und experimentell in Ray Data zum Einsatz.
Shuffling data at 1.8 TiB/s! RapidsMPF is a reusable, out-of-core shuffler that turns shuffling OOM headaches into a spill you can budget for.