Samsung 让 DRAM 直接做数学运算
Processing in Memory: DRAM Is About to Do Math
在 Hot Chips 2026 上，Samsung 展示了其 16 GB LPDDR5X-PIM 内存，内部带宽高达 614 GB/s，是外部接口的八倍。这项技术将计算单元直接嵌入 DRAM 芯片，专门针对 AI 推理中的 GEMV 操作优化，显著缓解了内存带宽瓶颈。实测显示，在运行 Llama 3.1 8B 模型时，LPDDR5X-PIM 的吞吐量比传统 LPDDR5X 提升了 3 倍。尽管 Samsung 通过 Address Align Mode 实现了与现有控制器的兼容，但软件生态仍面临挑战：主流推理框架如 llama.cpp 尚未支持，且现有的 GGUF k-quants 量化格式难以直接映射到硬件。未来，随着 LPDDR6 标准的完善，这种“内存即计算”的架构有望成为本地 AI 推理的主流方案。
在生成阶段，你花钱购买的矩阵硬件大部分时间都在等待 DRAM。
HN 评论区
32- roadbuster
"Processor-in-Memory"（存内计算）是个老掉牙的想法了，早在 1998 年的一篇博士论文《Computational RAM: A Memory-SIMD Hybrid》* 中就探讨过。当时的动机是：“在电路板上的 DRAM 芯片和微处理器之间，带宽只有几百 MB/s。然而，在内存芯片内部，却有几百 GB（甚至太比特级）的可用带宽，既然如此，为什么不把部分逻辑移到那里去呢？”随后，作者将这一想法推向了极致，在 DRAM 的每一列都部署了成百上千个 1 位处理器。（注：真正的 PIM 之所以不可行，是因为 DRAM 与高速数字逻辑所采用的半导体工艺截然不同，也就是说，你的数字逻辑电路在“DRAM 工艺”上表现会很差）。
HBM5 的设计者们也有同样的观察，并心想：“我们为什么不在 HBM DRAM 堆栈的底部放一个逻辑芯片，从而获得极高的内存带宽呢？”但仔细一看，你就会很快意识到，这几乎就是 Intel 和美光 15 年前提出的 Hybrid Memory Cube** 方案（该方案在市场竞争中输给了更简单、成本更低且更灵活的替代方案 HBM）。
* https://www.eecg.toronto.edu/~stumm/Theses/Elliott-PhD98.pdf
- honr
Compute In Memory（存内计算）今年一直是电子学研究（更准确地说，是我所接触的那部分领域）讨论的焦点。目前有几个趋势，我很好奇哪些能真正在市场上存活下来。RAM 设计师现在在市场上很抢手，目前有很多相关职位空缺。
- jcranmer
Processing in memory（存内处理）是我研究生计算机体系结构课程中额外涵盖的一个主题。那是十五年前的事了。即便在当时，这显然也是一个老生常谈的想法。
试图将大量 ALU 靠近 DRAM 逻辑的一个问题是，ALU 发热量很大，而 DRAM 是对热量最敏感的组件之一。此外还有其他问题，比如兄弟评论中提到的制造工艺差异。
- MBCook
所以他们是在 RAM 里构建了一个非常特定的操作。这种 RAM 只对 AI 有用，否则那些晶体管就纯属浪费。
而且，如果我们资助的另一套操作实际上对 AI 效果更好，你也无法调整适应。
看起来局限性极大。但话说回来，这难道不会最终变成一堆数量庞大的微型微控制器，每个都访问一组内存吗？这不就是 Transputer 的翻版吗？
- senshan
为什么文章没提一下在 DRAM 内处理时 KV-cache 是如何处理的？这难道显而易见吗？