d-Matrix, 3D-DRAM으로 HBM의 20배 대역폭을 뚫다

D-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026

d-Matrix가 Hot Chips 2026에서 Raptor 3D-DRAM 가속기를 공개했다. TSMC N4 로직 다이를 3D DRAM 위에 36μm face-to-face로 적층해, HBM4 대비 약 20배 높은 mm²당 대역폭(32.6GB/s)과 13.5배 우수한 전력 효율(2.96mW/GB/s)을 내세운다. 32GB 카드 72장으로 1M 컨텍스트의 3T급 모델을 단일 랙에서 서빙하며, 사용자당 약 1,000 TPS를 달성한다는 목표다. 은행 매핑, I/O 전력, 105°C 열 신뢰성 문제를 stream blocking, stream flipping, thermal-aware refresh로 해결했다.