Samsung LPDDR5X-PIM: 614 GB/s interner Speicherbandbreite für KI
Samsung's Processing-in-Memory (PIM)
Auf dem Hot Chips 2026 präsentiert Samsung sein Processing-in-Memory-Konzept LPDDR5X-PIM. Durch die Integration von MAC-Einheiten in jedem der 16 DRAM-Bänke erreicht der Chip eine interne Bandbreite von 614 GB/s – ein Vielfaches der 76,8 GB/s herkömmlicher Zugriffe. Die PIM-Blöcke unterstützen INT8/FP8 und erreichen bis zu 2,4 TOPS pro Chip. Trotz der Kompatibilität mit Standard-Controllern bleiben Software-Herausforderungen: PIM-Modi erfordern uncacheable, nicht-spekulative Zugriffe und erschweren Multitasking erheblich.
Die Umgehung von Caches ist nicht das einzige Problem: PIM-Lesezugriffe wirken wie MMIO-Zugriffe, da sie Berechnungen auslösen, die die PIM-VRF-Werte verändern, statt nur Daten abzurufen.
- bob1029
Der Kompromiss bei der Verlagerung der Rechenleistung in den Speicher besteht darin, dass man jederzeit genau wissen muss, wo sich die abhängigen Informationen befinden. Die meisten Probleme passen nicht gut in dieses Muster. KI, Gaming und Krypto sind die offensichtlichsten Ausnahmen. Es ist unglaublich einschränkend, Anwendungen mit solch spezialisierter Hardware zu entwickeln. Man könnte genauso gut einen ASIC für das auslagern, was man tut. Alle drei oben genannten Anwendungen haben schließlich ihre eigenen Varianten bekommen.
Ich denke, der Von-Neumann-Engpass ist größtenteils ein Feature. Die Tatsache, dass die Kommunikation von Informationen über Distanzen teuer ist, sollte nicht sofort als allgemein fehlerhaft angesehen werden. Man bezahlt für etwas, wenn man all diese Joule verbraucht. Ich würde argumentieren, dass wir unsere Energie normalerweise in Bezug auf Informationskommunikation verschwenden (z.B. eine Netzwerkschnittstelle und Kupfer aufleuchten lassen, weil wir uns nicht die Mühe gemacht haben, SQLite zu verwenden), aber manchmal ist dieses Zeug grundlegend erforderlich, damit praktische Lösungen existieren können.
- HarHarVeryFunny
Ich erinnere mich, dass ich VLSI-Design als Teil meines Informatikstudiums in Bristol, UK, um 1980 gemacht habe, mit dem Buch von Conway & Mead, und 'Vermischung von Verarbeitung und Speicher' wurde schon damals erwähnt.
Offensichtlich muss man (irgendwann) seine Daten dort haben, wo die Rechenleistung ist, besonders in einer Nicht-von-Neumann-Architektur, in der das Verschieben von Daten keine Option ist, selbst wenn man mit dem Leistungsabfall einverstanden wäre.
Es scheint ziemlich offensichtlich, dass KI irgendwann als energiearme Dataflow-Chips mit integriertem Speicher/Zustand und Rechenleistung implementiert wird, aber wer weiß!
- samuelknight
Ich habe sie ein ähnliches Konzept auf der Hot Chips 2020 oder 2021 präsentieren sehen. Es ist immer noch eine coole Idee, aber die Leute sollten sich daran erinnern, dass es jedes Jahr etwa 20 solcher exotischen Beschleuniger-Designs gibt, die auf Messen vorgestellt werden und nirgendwohin führen.
- londons_explore
Während Processing-in-Memory eindeutig die Zukunft ist, bin ich von dieser Implementierung nicht überzeugt.
Matrixmultiplikation beinhaltet, dass jeder Eintrag der Eingabe- und Ausgabematrizen zur gleichen Zeit am gleichen Multiplizierer ankommt (also N^2).
Dazu muss eine Menge Datenbewegung stattfinden. Bewegung ist die Hauptsache – die Multiplikation und Addition sind nur Beiwerk, was Energie und Siliziumfläche betrifft. Man braucht ein 'Rund-um-den-Chip'-Ring-Schieberegister, um jedes Element einer Matrix an jedem Element der anderen vorbeizuführen.
- throwaway173738
Man könnte genauso gut alles auf den Kopf stellen und die gesamte Computerarchitektur ändern. Viele Argumente gegen diese Änderung laufen darauf hinaus, dass Computer und Softwarecode heute nicht gut damit funktionieren.
- pragma_x
Was ich amüsant finde, wenn man Rechenleistung in einen RAM-Bank verlagert, ist, dass es fast dem ähnelt, wo wir in den 1980er Jahren mit ISA-basiertem erweitertem RAM waren. Einige Karten hatten eine CPU, die das gesamte System übernahm und/oder wie ein Upgrade funktionierte. Andere waren ein 'Computer auf einer Karte', der andere Funktionen bot. Ich denke, das zeigt, wie zyklisch Technologie sein kann. Also hätte so etwas wie Samsungs Erfindung hier an Bedeutung gewinnen können, da die Überwindung des langsamen PC-ISA-Busses ein großer Beschleuniger gewesen wäre, ähnlich wie wir es jetzt haben.
- consp
Also verzichtet man im Grunde auf den Cache für den verwendeten Speicherbereich? Ich frage mich, wie hoch die Cache-Miss-Raten in der Praxis sein werden (der Artikel spricht es an, aber Samsung gibt keine Lösung/Auswirkung an).
- OptionX
Also anstatt mehr Cache auf die CPU zu packen, setzt man die CPU einfach auf den Cache.