GPU-Grundlagen und Kernel-Optimierung: Ein Leitfaden aus zehn Monaten Praxis

A primer on GPUs and kernel optimization

Ein Entwickler wollte eigentlich nur drei Monate in ein Framework für Reinforcement Learning mit großen Sprachmodellen investieren – daraus wurden zehn. Der erste Teil einer Blogserie erklärt, wie GPUs tatsächlich rechnen: von Fließkommatypen wie FP8 und BF16 über Warps, Thread-Blöcke und Streaming Multiprocessors bis zu HBM, Registern und Occupancy. Anschließend zeigt er an echten Kernel-Optimierungen in seinem Projekt Jam, wo sich Leistung gewinnen lässt – und wie moderne LLMs beim Kernel-Schreiben helfen.