Samsung 在 LPDDR5X 中植入计算能力
Samsung's Processing-in-Memory (PIM)
在 Hot Chips 2026 上，Samsung 展示了其 LPDDR5X-PIM 技术，将 MAC 计算单元直接嵌入内存芯片的每个 Bank 中。这项技术利用内存内部高达 614 GB/s 的带宽，远超传统外部接口的 76.8 GB/s，旨在加速 ML 推理。虽然硬件设计巧妙，兼容标准内存控制器，但软件层面面临巨大挑战：PIM 模式会破坏 CPU 的缓存、预取和乱序执行机制，导致多任务处理复杂化。文章深入分析了这种架构在打破内存子系统预期时引发的操作系统调度难题，指出若无底层硬件指令集和缓存一致性机制的协同进化，内存计算难以在通用系统中普及。
PIM 计算打破了内存子系统对 DRAM 行为的预期，因为 DRAM 能够生成缓存层级从未知晓的内存数值。
HN 评论区
106- bob1029
将计算能力植入内存的权衡在于，你必须始终确切知道依赖数据的位置。大多数问题并不太符合这种模式。AI、游戏和加密货币是最明显的例外。使用这种专用硬件开发应用极其受限。你不如直接为你要做的东西定制一颗 ASIC。上述三种应用最终都各自发展出了自己的专用版本。
我认为冯·诺依曼瓶颈在某种程度上其实是一个特性。信息跨距离传输成本高昂这一事实，不应被立即推论为这种做法在原则上存在普遍缺陷。当你消耗那些焦耳的能量时，你是在为某些东西付费。我认为我们在信息通信方面通常是在浪费能源（例如，因为我们懒得使用 SQLite，于是点亮了网络接口和铜缆），但在其他时候，这些东西对于实现实用解决方案是根本必需的。
- HarHarVeryFunny
我记得在 1980 年左右，我在英国布里斯托大学攻读计算机科学学位时，曾修过 VLSI 设计课程，使用的是 Conway & Mead 的书，当时就已经提到了“处理与存储的混合”。
显然，你（最终）需要将数据放在计算所在的位置，特别是在非冯·诺依曼架构中，即使你愿意接受性能下降，移动数据也不是一个选项。
看起来很明显，AI 最终将以低功耗数据流定制芯片的形式实现，集成存储/状态与计算，但谁知道呢！
- samuelknight
我在 2020 年或 2021 年的 Hot Chips 大会上看到他们展示过类似的概念。这仍然是一个很酷的想法，但人们应该记住，每年在贸易展上都会推出大约 20 种这类奇特的加速器设计，最后都无疾而终。
- londons_explore
虽然存内计算显然是未来，但我对这种实现方式并不信服。
矩阵乘法需要让输入矩阵和输出矩阵的每个元素在同一时间到达同一个乘法器。（即 N^2）。
要做到这一点，需要大量的数据移动。移动才是关键——就能耗和硅片空间而言，乘法和加法只是次要的。你需要一个“环绕芯片”的环形移位寄存器，让一个矩阵的每个元素依次经过另一个矩阵的每个元素。
- throwaway173738
既然如此，干脆彻底改变整个计算机架构好了。许多反对这种变革的论点归根结底是：目前的计算机和软件代码并不太适应这种架构。
- pragma_x
我觉得把计算能力移到内存模块上有点滑稽，因为它几乎重现了 1980 年代基于 ISA 的扩展内存所处的局面。当时有些卡自带 CPU，可以接管整个系统或作为升级功能使用；另一些则是“板载电脑”，提供其他功能。我认为这说明技术是循环往复的。所以，像 Samsung 这里的发明可能当时也曾获得过关注，因为克服缓慢的 PC ISA 总线将是一个巨大的加速器，就像我们现在所处的局面一样。
- consp
所以你们基本上是为所使用的内存区域丢弃了缓存？我好奇在实际应用中，缓存未命中的偏移量会是什么情况（文章提到了这一点，但 Samsung 没有给出解决方案或影响分析）。
- OptionX
所以与其在 CPU 上加更多缓存，不如直接把 CPU 放在缓存上。