삼성 LPDDR5X-PIM, DRAM 안에서 직접 연산…대역폭 8배
Processing in Memory: DRAM Is About to Do Math
Hot Chips 2026에서 삼성은 16GB LPDDR5X 메모리 패키지에 연산 유닛을 내장한 PIM(Processing-in-Memory) 기술을 공개했다. 이 패키지는 내부 대역폭 614GB/s를 제공하며, 이는 Apple M5 Max의 전체 메모리 대역폭과 맞먹는 수치다. 외부 핀 대역폭(76.8GB/s)과 비교하면 8배 차이다. 삼성은 자체 엣지 AI 가속기 SoC에서 Llama 3.1 8B 추론을 실행한 결과, LPDDR5X-PIM이 기존 LPDDR5X 대비 3.01배 빠른 처리량(81.3 tok/s)을 보였다고 밝혔다. 이 기술은 기존 메모리 컨트롤러와 호환되는 Address Align Mode를 지원하지만, 소프트웨어 생태계는 아직 미비하다. llama.cpp나 vLLM과 같은 런타임에는 PIM 백엔드가 없으며, k-quant 양자화 방식이 하드웨어와 맞지 않고, 메모리 배치 문제도 해결해야 한다.
DRAM 뱅크는 이미 대부분의 대역폭을 제공하지만, 외부 핀은 그 대역폭을 노출할 수 없다.
HN 토론
32- roadbuster
"프로세서-인-메모리(PIM)"는 1998년 박사 논문에서도 탐구된 오래된 아이디어입니다: "Computational RAM: A Memory-SIMD Hybrid"*. 당시 동기는 이러했습니다: "회로 기판에 장착된 DRAM 칩과 마이크로프로세서 사이에서는 수백 MB/s의 대역폭만 얻을 수 있습니다. 그러나 메모리 칩 내부에는 수백 GB(테라비트)의 대역폭이 있으므로, 일부 로직을 거기로 옮기면 어떨까?" 그리고 저자는 DRAM의 각 열에 1비트 프로세서의 넓은 배열을 두는 극단까지 밀어붙였습니다. (참고: 진정한 PIM이 실현 가능하지 않은 이유는 DRAM과 고속 디지털 로직에 사용되는 반도체 공정이 근본적으로 다르기 때문입니다. 즉, 디지털 로직 회로는 "DRAM 공정"에서 성능이 좋지 않을 것입니다.)
HBM5 설계자들도 같은 관찰을 하고 "HBM DRAM 칩 스택의 바닥에 로직 칩을 두고 극도로 높은 메모리 대역폭을 얻는 게 어떨까?"라고 생각했습니다. 하지만 이를 살펴보면, 이것이 15년 전 Intel과 Micron이 Hybrid Memory Cube**로 제안한 것과 거의 정확히 일치한다는 것을 금방 알 수 있습니다. (이것은 더 단순하고 저렴하며 유연한 대안인 HBM에 비해 시장에서 패배했습니다.)
* https://www.eecg.toronto.edu/~stumm/Theses/Elliott-PhD98.pdf
- honr
인-메모리 컴퓨팅은 올해 전자공학 연구(더 정확히는 제가 접하는 분야)에서 가장 많이 논의되는 주제였습니다. 몇 가지 트렌드가 있는데, 어떤 것이 시장에서 살아남을지 궁금합니다. RAM 설계자들은 현재 시장에서 인기가 많고, 지금 채용 공고도 많습니다.
- jcranmer
프로세싱 인 메모리는 제 대학원 컴퓨터 구조 수업에서 다룬 추가 주제 중 하나였습니다. 15년 전이었죠. 그리고 그때도 이미 매우 오래된 아이디어라는 것이 분명했습니다.
많은 ALU를 DRAM 로직에 가깝게 옮기려고 할 때의 문제 중 하나는 ALU가 꽤 뜨겁고, DRAM은 열에 가장 민감한 구성 요소 중 하나라는 것입니다. 다른 문제도 있습니다. 형제 댓글에서 언급된 제조 공정 차이 같은 것들입니다.
- MBCook
그래서 그들은 RAM에 매우 특정한 연산을 내장했습니다. 이 RAM은 AI에만 유용할 것이고, 그렇지 않으면 트랜지스터는 그냥 낭비됩니다.
그리고 AI에 더 잘 맞는 다른 연산 세트를 발견하더라도 그것에 적응할 수 없습니다.
매우 제한적으로 보입니다. 하지만 그렇지 않다면, 각각 메모리 세트에 접근하는 수많은 소형 마이크로컨트롤러 같은 것이 되는 것 아닌가요? 다시 Transputer가 되는 것이죠.
- senshan
기사에서 KV-캐시가 DRAM 내 처리에서 어떻게 처리되는지 언급하지 않는 이유는 무엇인가요? 이게 자명한가요?