Samsung bringt Rechenleistung in den DRAM: Achtmal mehr Bandbreite
Processing in Memory: DRAM Is About to Do Math
Auf dem Hot Chips 2026 präsentierte Samsung einen 16-GB-LPDDR5X-Speicher mit integrierten Recheneinheiten, der 614 GB/s interne Bandbreite erreicht – achtmal mehr als über die externen Pins fließt. Das ermöglicht Processing-in-Memory (PIM), das besonders bei der Token-generierung in LLMs hilft. In einem Benchmark mit Llama 3.1 8B erreichte das System 81,3 Tokens pro Sekunde statt 27. Doch die Software-Herausforderungen sind groß: K-Quants passen nicht zur Hardware, das Speicherlayout erfordert spezielle Allokatoren, und die Architektur bevorzugt GEMV. Samsung setzt auf einen Standard-Speichercontroller, um die Kompatibilität zu wahren.
Die DRAM-Banken liefern bereits den Großteil der Bandbreite; die externen Pins können sie nicht bereitstellen.
- roadbuster
"Processor-in-Memory" ist eine uralte Idee, die sogar schon in einer Doktorarbeit von 1998 untersucht wurde: "Computational RAM: A Memory-SIMD Hybrid"*. Damals war die Motivation: "Zwischen einem DRAM-Chip und einem Mikroprozessor auf einer Platine bekommen wir nur ein paar hundert Megabyte pro Sekunde an Bandbreite. Aber im Inneren des Speicherchips selbst gibt es hunderte Gigabyte (Terabit) an Bandbreite, warum also nicht etwas von der Logik dorthin verlagern?". Und dann trieb der Autor es auf die Spitze, indem er ein breites Array von 1-Bit-Prozessoren an jeder Spalte des DRAM platzierte. (Hinweis: Der Grund, warum echtes PIM nicht praktikabel ist, liegt in den radikal unterschiedlichen Halbleiterprozessen für DRAM im Vergleich zu schneller digitaler Logik, d.h.: Deine digitalen Logikschaltungen werden auf einem "DRAM-Prozess" schlecht funktionieren).
Die Designer von HBM5 hatten dieselben Beobachtungen und dachten: "Warum setzen wir nicht einen Logikchip auf den Boden des Stapels von HBM-DRAM-Chips und erhalten extrem hohe Speicherbandbreite?" Aber wenn man sich das ansieht, erkennt man schnell, dass dies fast genau das ist, was Intel und Micron vor 15 Jahren als Hybrid Memory Cube** vorschlugen (das auf dem Markt gegenüber der einfacheren, kostengünstigeren und flexibleren Alternative HBM verlor).
* https://www.eecg.toronto.edu/~stumm/Theses/Elliott-PhD98.pdf
- MBCook
Sie haben also eine sehr spezifische Operation in den RAM eingebaut. Dieser RAM wäre nur für KI nützlich, sonst sind die Transistoren nur verschwendet.
Und wenn wir herausfinden, dass ein anderer Satz von Operationen tatsächlich besser für KI funktioniert, kann man sich auch nicht daran anpassen.
Scheint extrem begrenzt. Aber würde man sonst nicht einfach so etwas wie eine massive Anzahl winziger Mikrocontroller bekommen, die jeweils auf einen Speicherbereich zugreifen? Der Transputer schon wieder.
- honr
Compute In Memory ist das, worüber der Großteil der Elektronikforschung (genauer gesagt, die Teile, mit denen ich interagiere) in diesem Jahr spricht. Es gibt ein paar Trends, und ich bin gespannt, welche davon auf dem Markt überleben. RAM-Designer sind derzeit heiß auf dem Markt und es gibt offene Stellen.
- jcranmer
Processing in Memory war eines der zusätzlichen Themen, die wir in meinem Graduiertenkurs für Computerarchitektur behandelt haben. Vor fünfzehn Jahren. Und selbst damals war es eindeutig eine alte Idee.
Eines der Probleme, wenn man versucht, viele ALUs nahe an die DRAM-Logik zu bringen, ist, dass ALUs ziemlich heiß werden und DRAM zu den empfindlichsten Komponenten gegenüber Hitze gehört. Es gibt auch einige andere Probleme, wie die Unterschiede im Herstellungsprozess, die in einem anderen Kommentar erwähnt wurden.
- senshan
Warum sagt der Artikel nichts darüber, wie KV-Cache mit In-DRAM-Verarbeitung gehandhabt wird? Ist das trivial offensichtlich?