GPU-Speicherzugriff: Ein LDG-Befehl auf der Reise durch die RTX 4090
What happens when a GPU reads memory
In diesem technischen Deep Dive wird der Weg eines einzelnen GPU-Ladebefehls (LDG) vom Warp bis zum DRAM-Chip verfolgt. Am Beispiel einer Vektor-Addition auf einer RTX 4090 werden die Hardware-Komponenten wie Registerdatei, L1- und L2-Cache, Crossbar und Speichercontroller durchleuchtet. Der Autor hat die Latenzen und Funktionsweisen durch Timing-Experimente selbst ermittelt, da NVIDIA viele Details nicht dokumentiert. Dabei zeigt sich: Ein einzelner Load kann je nach Cache-Treffer zwischen 40 und über 300 Zyklen dauern und durchläuft eine komplexe Hierarchie aus Adressübersetzung, Cache-Sets und DRAM-Befehlen.
Ein LDG.E fragt in jeder der 32 Lanes vier Bytes an. Um das zu bedienen, braucht es vier 32-Byte-Sektoren, eine Cache-Line, eine Adressübersetzung, eine Crossbar-Überquerung, einen von sechsunddreißig L2-Slices und, wenn überall daneben gegriffen wird, ein Activate und vier Spalten-Reads an einem DRAM-Chip.