RapidsMPF：1.8 TiB/s的离核数据重排

Accelerated Out of Core Shuffling

数据重排（Shuffling）是分布式分析中最昂贵且容易引发内存溢出（OOM）的瓶颈。本文深入解析了 RapidsMPF 如何通过离核（Out-Of-Core）机制，将内存压力转化为可预算的磁盘溢出操作。作者 Benjamin Zaitlen 展示了在 DGXB200 硬件上，利用 RapidsMPF 实现高达 1.8 TiB/s 的传输速率。文章详细拆解了 Join 操作背后的内存挑战，并介绍了 RapidsMPF 如何被 cuDF Polars 和 NeMo-Curator 等工具采用，为构建高效流式 ETL 引擎提供了关键解决方案。