RapidsMPF, 1.8 TiB/s 셔플링으로 OOM 문제를 해결하다
Accelerated Out of Core Shuffling
RapidsMPF는 NVIDIA가 개발한 out-of-core 셔플러로, DGX B200 8개 GPU에서 초당 1.8 TiB의 전역 처리량을 달성했다. 메모리 집약적인 셔플 작업을 디스크 스필로 전환해 OOM을 방지하며, cuDF Polars와 NeMo-Curator 등에서 이미 채택되었다. 160 GiB 데이터를 8개 랭크로 분산 처리하는 벤치마크에서 안정적인 성능을 입증했다.
Shuffling data at 1.8 TiB/s! RapidsMPF is a reusable, out-of-core shuffler that turns shuffling OOM headaches into a spill you can budget for.