RapidsMPFが1.8TiB/sのシャッフルを実現、OOM問題を解決
Accelerated Out of Core Shuffling
RapidsMPFは、大規模データ分析のボトルネックであるシャッフルをアウトオブコアで処理するライブラリだ。DGX B200上で8基のBlackwell GPUを使い、1.8TiB/sのグローバルスループットを達成。メモリ不足によるOOMを防ぎつつ、スピルを予算化できる点が特徴で、cuDF PolarsやNeMo-Curatorなどで採用されている。
シャッフルはメモリ集約的であり、計算集約的ではない。ハッシュ計算自体は安価であり、だからこそETLエンジンを構築する際にはアウトオブコアのシャッフル実装が主要な焦点となるべきだ。