B200アテンションカーネルをゼロからほぼSOTAまで60の図で解説

B200 Attention Kernel from Scratch to Near-SOTA in 60 Diagrams

CUDAと少量のPTXで、B200用の高密度アテンションカーネルをゼロから構築し、FlashAttention-4の性能の94.4%に到達するまでの過程を、60枚の図を使ったビジュアルガイドで解説します。初心者向けの導入から始め、各最適化を1つずつ追加しながら、ソフトマックスが主なボトルネックであることや、tcgen05命令の使い方など、Blackwellアーキテクチャの重要な概念を学べます。最終的には、このカーネルを動画生成モデルに組み込み、実際に動画を生成します。