Samsung LPDDR5X-PIM, 메모리 내부 대역폭 8배 활용
Samsung's Processing-in-Memory (PIM)
Hot Chips 2026에서 삼성은 LPDDR5X 메모리 칩 내부에 MAC 유닛을 집적한 PIM(Processing-in-Memory) 기술을 공개했다. 각 뱅크에 PIM 블록을 배치해 외부 버스 제약 없이 내부 대역폭을 활용, 16개 뱅크 전체에서 614 GB/s의 대역폭을 제공하며, 이는 일반 DRAM 접근(76.8 GB/s)의 약 8배에 달한다. 표준 LPDDR5X 프로토콜을 유지하면서 특수 행 주소를 통해 PIM 모드를 제어하는 방식이 특징이다. 하지만 PIM 모드 전환은 멀티태스킹 OS, 캐시, 프리페처, 비순차 실행 등 기존 시스템 구조와 충돌하며, 소프트웨어 통합에 큰 장애물로 작용한다.
PIM 모드 전환은 멀티태스킹 운영체제에 큰 걸림돌이 되고, DRAM 내용을 몰래 수정하고 읽기 명령에 부작용을 붙이는 방식은 CPU 캐싱, 프리페칭, 비순차 실행을 깨뜨린다.
HN 토론
106- bob1029
메모리에 연산을 넣는 것의 트레이드오프는 종속 정보가 항상 정확히 어디에 있을지 알아야 한다는 것이다. 대부분의 문제는 이 패턴에 잘 맞지 않는다. AI, 게이밍, 암호화폐가 가장 명백한 예외다. 이런 특수 하드웨어를 사용해 애플리케이션을 개발하는 것은 엄청나게 제약적이다. 그냥 뭘 하든 ASIC을 만들어 버리는 게 나을 수도 있다. 위에서 언급한 세 가지 애플리케이션은 결국 각자의 방식으로 발전했다.
나는 폰 노이만 병목이 대체로 특징이라고 생각한다. 거리에 걸쳐 정보를 통신하는 것이 비싸다는 것이 곧 이 방식이 보편적으로 결함이 있다는 뜻으로 곧바로 받아들여져서는 안 된다. 그 모든 줄을 사용할 때 당신은 무언가를 지불하고 있는 것이다. 나는 우리가 정보 통신에 관해 에너지를 낭비하는 경우가 많다고 주장한다 (예: SQLite를 쓰기 싫어서 네트워크 인터페이스와 구리선에 불을 켜는 것), 하지만 다른 때는 이런 것들이 실용적인 해결책이 존재하기 위해 근본적으로 필요한 경우도 있다.
- HarHarVeryFunny
나는 1980년경 영국 브리스톨 대학에서 컴퓨터 과학 학위의 일부로 VLSI 설계를 수강했던 것을 기억한다. Conway & Mead 책을 사용했고, '처리와 메모리의 혼합'은 그때도 언급되었다.
분명히 (결국) 데이터가 연산이 일어나는 곳에 있어야 한다. 특히 데이터 이동이 성능 저하를 감수하더라도 선택지가 아닌 비 폰 노이만 구조에서는 더욱 그렇다.
결국 AI는 메모리/상태와 연산을 통합한 저전력 데이터플로우 커스텀 칩으로 구현될 것이라는 것은 꽤 명백해 보이지만, 누가 알겠는가!
- samuelknight
나는 2020년이나 2021년 Hot Chips에서 그들이 비슷한 개념을 발표하는 것을 보았다. 여전히 멋진 아이디어이지만, 사람들은 매년 전시회에서 제안되는 이국적인 가속기 설계가 20개 정도 되고 그중 아무데도 가지 못한다는 것을 기억해야 한다.
- londons_explore
메모리 내 처리가 분명히 미래이지만, 나는 이 구현에 확신이 서지 않는다.
행렬 곱셈은 입력 및 출력 행렬의 모든 항목이 동시에 같은 곱셈기에 도달해야 한다. (즉, N^2).
그러려면 많은 데이터 이동이 필요하다. 이동이 핵심이다 - 곱셈과 덧셈은 에너지와 실리콘 공간 측면에서 부수적인 것이다. 한 행렬의 모든 요소를 다른 행렬의 모든 요소와 통과시키기 위해 '칩 주위의' 링 시프트 레지스터가 필요하다.
- throwaway173738
그냥 전체 컴퓨터 아키텍처를 바꿔버리는 게 나을 수도 있다. 이 변경에 반대하는 많은 논쟁은 컴퓨터와 소프트웨어 코드가 오늘날 이와 잘 작동하지 않는다는 점으로 귀결된다.
- pragma_x
RAM 뱅크로 연산을 옮기는 것에 대해 내가 재미있다고 생각하는 점은 그것이 1980년대 ISA 기반 확장 RAM 시절과 거의 비슷하다는 것이다. 일부 카드는 시스템 전체를 장악하고/또는 업그레이드처럼 기능하는 CPU를 갖추고 있었다. 다른 것들은 다른 기능을 제공하는 '카드 위의 컴퓨터'였다. 나는 이것이 기술이 얼마나 순환적인지를 보여준다고 생각한다. 그래서 삼성의 이 발명과 같은 것은 느린 PC ISA 버스를 극복하는 것이 큰 가속기가 되었을 것이기 때문에 주목을 받았을 수도 있다. 지금 우리가 있는 곳과 비슷하다.
- consp
그래서 기본적으로 사용된 메모리 영역에 대해 캐시를 없애는 것인가? 실제로 캐시 미스의 오프셋이 얼마나 될지 궁금하다 (기사에서 언급하지만 삼성은 해결책이나 영향을 제시하지 않는다).
- OptionX
그래서 CPU에 캐시를 더 넣는 대신 캐시에 CPU를 넣는 것이다.