Die KI-Chip-Architekturen: Ein Überblick über GPUs, TPUs und mehr
AI Chip Architectures
Seit John Hennessy und David Patterson 2018 in ihrer Turing Lecture ein neues goldenes Zeitalter der Computerarchitektur vorhersagten, hat die KI eine Explosion spezialisierter Chips ausgelöst. Dieser Artikel untersucht die wichtigsten Architekturen – von NVIDIA-GPUs mit ihren Tensor Cores und CUDA über Googles TPUs, Cerebras' Wafer-Scale Engine bis hin zu Groqs LPU – und analysiert ihre Philosophie, Architektur, Skalierungsmethoden und Software-Stacks. Im Mittelpunkt steht das Problem der Matrixmultiplikation und die Überwindung der Memory Wall, wobei jede Architektur einen anderen Ansatz verfolgt, um Daten effizient zu bewegen und zu verarbeiten.
Die Architektur-Herausforderung besteht darin, die Zahlen schnell genug zu den Matmuls zu bewegen – das ist die Memory Wall: Rechenleistung ist exponentiell gewachsen, Speicherbandbreite nicht.