Warp-Divergenz von Pascal bis Blackwell: NVIDIA-GPUs überraschen mit stabilem Kostenmodell

Characterizing Warp Divergence from Pascal to Blackwell

Seit der Einführung von Independent Thread Scheduling (ITS) mit Volta galt die Behandlung von Warp-Divergenz auf NVIDIA-GPUs als festgelegt. Diese Studie testet diese Annahme auf Ampere, Hopper sowie Data-Center- und Consumer-Blackwell-GPUs, mit Pascal als Basis. Mittels Mikrobenchmarks, Hardware-Zählern und SASS-Analyse zeigt sich: Über alle Generationen serialisieren divergente Pfade linear mit der Anzahl der Pfade k (T(k) ≈ s·k), ohne überlineare Rekonvergenz-Strafe. Die Warp-Ausführungseffizienz fällt auf 32/k, unabhängig von der Auslastung, und Prädikation eliminiert die Serialisierungskosten. Dieses Verhalten existiert bereits auf Pascal, was zeigt, dass das Kostenmodell älter als ITS ist. Die Compiler-Mechanismen zur Rekonvergenz haben sich jedoch stark verändert: Pascal nutzt einen SSY/SYNC-Instruktionsstapel, spätere Generationen setzen auf Barrier-Register. Die aufgeschobene Rekonvergenz sinkt von 29 Fällen auf Ampere auf 2 auf Blackwell. Blackwell führt zudem eine zweistufige Konvergenz-Barrier-Klassifikation, Uniform-Branch-Instruktionen und explizite Teil-Masken-Synchronisation ein. Bit-Flip-Experimente deuten darauf hin, dass die neue Barrier-Klasse eine statische Compiler-Klassifikation ohne beobachtbare Auswirkung zur Laufzeit ist. Somit bleibt die Divergenz-Kostenstruktur stabil und vorhersehbar, während sich die Kontrollfluss-ISA und Rekonvergenz-Mechanismen weiterentwickeln.