DRAMが計算を始める：SamsungのLPDDR5X-PIMがもたらす8倍の帯域幅
Processing in Memory: DRAM Is About to Do Math
SamsungがHot Chips 2026で発表したLPDDR5X-PIMは、メモリパッケージ内部に計算ユニットを統合し、外部ピン経由の76.8 GB/sに対して614 GB/sの内部帯域幅を実現。これにより、Llama 3.1 8Bの推論で最大3.01倍のスループット向上を達成した。従来のメモリコントローラと互換性を持つ一方、ソフトウェア面ではllama.cppやvLLMへの対応が課題。k-quants量子化形式がPIMハードウェアに非対応、物理メモリ配置の制約、GEMV特化によるGEMM性能の限界など、実用化への障壁を解説する。
DRAMバンクはすでに帯域幅の大部分を提供しているが、外部ピンはそれを引き出せない。
HNでの議論
32- roadbuster
「Processor-in-Memory」は古くからあるアイデアで、1998年の博士論文『Computational RAM: A Memory-SIMD Hybrid』*でも探求されていました。当時の動機は、「回路基板上に載ったDRAMチップとマイクロプロセッサの間では、毎秒数百メガバイトの帯域幅しか得られない。しかし、メモリチップ内部には数百ギガバイト（テラビット）の帯域幅が利用可能なのに、なぜそこにロジックの一部を移さないのか」というものでした。そして著者はそれを極限まで押し進め、DRAMの各列に1ビットプロセッサの広いアレイを配置しました。（注：真のPIMが実現不可能な理由は、DRAMと高速デジタルロジックで使われる半導体プロセスが根本的に異なるためです。つまり、デジタルロジック回路は「DRAMプロセス」では性能が発揮できません）。
HBM5の設計者たちも同じ観察を持ち、「HBM DRAMチップのスタックの底にロジックチップを置いて、非常に高いメモリ帯域幅を得るのはどうか」と考えました。しかし、これを検討すると、これはインテルとマイクロンが15年前にHybrid Memory Cube**として提案したものとほぼ同じであることにすぐ気づくでしょう（これは、よりシンプルで低コストで柔軟な代替案であるHBMに市場で敗れました）。
* https://www.eecg.toronto.edu/~stumm/Theses/Elliott-PhD98.pdf
- honr
Compute In Memoryは、今年のエレクトロニクス研究（より正確には、私が関わっている分野）で最も話題になっているテーマです。いくつかのトレンドがあり、どれが市場で生き残るのか興味があります。RAM設計者は市場で人気があり、現在求人も多いです。
- jcranmer
Processing in memoryは、私が大学院のコンピュータアーキテクチャの授業で扱った追加トピックの1つでした。15年前のことです。そしてその時点でも、それは明らかに古臭いアイデアでした。
多くのALUをDRAMロジックの近くに配置しようとする問題の1つは、ALUはかなり熱くなり、DRAMは熱に最も敏感なコンポーネントの1つであることです。他にも、兄弟コメントで言及されている製造プロセスの違いなど、いくつかの問題があります。
- MBCook
つまり、彼らはRAMに非常に特殊な操作を組み込んだのです。このRAMはAIにしか役立たず、そうでなければトランジスタは無駄になります。
そして、AIにとって実際により良く機能する別の操作セットが見つかったとしても、それに適応することもできません。
非常に限定的に思えます。しかし、そうでなければ、それぞれがメモリのセットにアクセスする膨大な数の小さなマイクロコントローラのようなものになってしまうのではないでしょうか？またTransputerですね。
- senshan
なぜ記事は、KVキャッシュがDRAM内処理でどのように扱われるかについて何も言及していないのでしょうか？これは自明なことなのでしょうか？