d-Matrix Raptor:3D-DRAM 如何重塑生成式推理

D-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026

d-Matrix Raptor:3D-DRAM 如何重塑生成式推理

在 Hot Chips 2026 上,d-Matrix 推出了 Raptor 3D-DRAM 加速器,旨在解决生成式 AI 推理中的带宽瓶颈。面对 SRAM 容量不足和 HBM 带宽受限的困境,Raptor 将计算逻辑直接堆叠在 DRAM 之上,实现了每平方毫米 20 倍的带宽密度提升。通过创新的 Stream Blocking 和 Stream Flipping 技术,该架构有效解决了银行映射、I/O 功耗及高温下的可靠性难题。d-Matrix 宣称,Raptor 能在单卡 32GB 内存下,为 3 万亿参数模型提供百万级上下文支持,实现每用户每秒 1000 个 token 的推理速度。

如果 3D DRAM 能够填补内存带宽的缺口,它将彻底改变加速器厂商在 AI 系统中权衡容量与带宽的方式。
  1. bix6

    谁能用英语解释一下这篇文章?

  2. unixhero

    Hot Chips 是什么?

同日更多故事

2026-09-14