GPU-Speicherzugriff: Ein LDG-Befehl auf der Reise durch die RTX 4090
What happens when a GPU reads memory
In diesem technischen Deep Dive wird der Weg eines einzelnen GPU-Ladebefehls (LDG) vom Warp bis zum DRAM-Chip verfolgt. Am Beispiel einer Vektor-Addition auf einer RTX 4090 werden die Hardware-Komponenten wie Registerdatei, L1- und L2-Cache, Crossbar und Speichercontroller durchleuchtet. Der Autor hat die Latenzen und Funktionsweisen durch Timing-Experimente selbst ermittelt, da NVIDIA viele Details nicht dokumentiert. Dabei zeigt sich: Ein einzelner Load kann je nach Cache-Treffer zwischen 40 und über 300 Zyklen dauern und durchläuft eine komplexe Hierarchie aus Adressübersetzung, Cache-Sets und DRAM-Befehlen.
Ein LDG.E fragt in jeder der 32 Lanes vier Bytes an. Um das zu bedienen, braucht es vier 32-Byte-Sektoren, eine Cache-Line, eine Adressübersetzung, eine Crossbar-Überquerung, einen von sechsunddreißig L2-Slices und, wenn überall daneben gegriffen wird, ein Activate und vier Spalten-Reads an einem DRAM-Chip.
- empiricus
Lange Zeit neigten die Chip-Hersteller dazu, die Hardware zu vereinfachen und sich darauf zu verlassen, dass die Software sich anpasst und optimiert. Aber jahrzehntelang schlug dieses Vorhaben fehl. Jetzt haben wir die unermüdliche KI, die in der Lage ist, Kernel relativ schnell zu optimieren. Vielleicht funktioniert einfachere Hardware diesmal? Hinweis: Nicht sicher, ob TPU/NPU nicht nur einfach, sondern auch zu begrenzt ist.
- xyzsparetimexyz
> Nur wenig von den Details dieses Pfads ist von NVIDIA dokumentiert, zumindest nicht auf dem Niveau, das wir uns wünschen würden, also werden wir es bestimmen, indem wir Timing-Experimente auf der Hardware selbst durchführen.
Oder du könntest einfach die AMD-ISA verwenden.
- KellyCriterion
SEHR guter Artikel, erinnert mich an:
"What every programmer should know about memory"
https://github.com/Ty-Chen/Reading-List/blob/master/What%20e...