RapidsMPF выполняет out-of-core shuffle на скорости 1,8 ТиБ/с
Accelerated Out of Core Shuffling
RapidsMPF — это переиспользуемый out-of-core shuffler, созданный для того, чтобы превратить проблемы с нехваткой памяти при shuffle в управляемый сброс на диск. Shuffle лежит в основе join, groupby, merge и sort, но требует много памяти и синхронизации. Бенчмарк на DGX B200 с восемью GPU и 180 ГБ VRAM каждый достигает глобальной пропускной способности около 1,8 ТиБ/с, а пиковое потребление памяти на ранг составляет 60 ГБ. Библиотека уже используется в cuDF Polars, NeMo-Curator и экспериментально в Ray Data.
Shuffling data at 1.8 TiB/s! RapidsMPF is a reusable, out-of-core shuffler that turns shuffling OOM headaches into a spill you can budget for.