Samsung's LPDDR5X-PIM: 8x bandwidth inside the DRAM
Processing in Memory: DRAM Is About to Do Math
На Hot Chips 2026 Samsung представила LPDDR5X-PIM — память со встроенными вычислительными блоками, которая обеспечивает 614 ГБ/с внутренней пропускной способности, что в 8 раз превышает скорость внешнего интерфейса. Это позволяет обойти узкое место памяти при инференсе LLM: генерация токенов ускоряется в 3 раза на реальном чипе. Однако технология сталкивается с проблемами: несовместимость с k-quants, сложности с физическим размещением данных и ориентация только на GEMV-операции. Автор анализирует архитектуру, бенчмарки и перспективы внедрения в открытые рантаймы.
Восемь к одному — это соотношение, которое делает аргумент в пользу вычислений в памяти убедительным: банки DRAM уже обеспечивают большую часть пропускной способности, но внешние контакты не могут её выдать.
- roadbuster
"Процессор-в-памяти" — это старая идея, которая даже исследовалась в докторской диссертации 1998 года: "Computational RAM: A Memory-SIMD Hybrid"*. В то время мотивация была такой: "Между чипом DRAM и микропроцессором, установленным на печатной плате, мы можем получить только несколько сотен мегабайт в секунду пропускной способности. Однако внутри самого чипа памяти доступны сотни гигабайт (терабит) пропускной способности, так почему бы не перенести туда часть логики?". Затем автор довел эту идею до крайности, разместив широкий массив 1-битных процессоров в каждой колонке DRAM. (Примечание: причина, по которой настоящий PIM нежизнеспособен, — это радикально другой полупроводниковый процесс, используемый для DRAM, по сравнению с высокоскоростной цифровой логикой, т.е. ваши цифровые логические схемы будут работать плохо на "DRAM-процессе").
Проектировщики HBM5 заметили то же самое и подумали: "почему бы нам не поместить логический чип в основание стека чипов DRAM HBM и не получить чрезвычайно высокую пропускную способность памяти?" Но, рассматривая это, вы также быстро поймете, что это почти в точности то, что Intel и Micron предлагали 15 лет назад как Hybrid Memory Cube** (который проиграл на рынке более простой, менее дорогой и более гибкой альтернативе — HBM).
* https://www.eecg.toronto.edu/~stumm/Theses/Elliott-PhD98.pdf
- honr
Вычисления в памяти (Compute In Memory) были основной темой электронных исследований (точнее, той их части, с которой я взаимодействую) в этом году. Есть несколько тенденций, и мне интересно, какие из них выживут на рынке. Проектировщики RAM сейчас очень востребованы на рынке, и в данный момент открыто много вакансий.
- RetroTechie
Ориентировано на ИИ — как и многое в наши дни. Не могла бы какая-нибудь корпорация поместить в эту RAM процессоры общего назначения?