Samsung PIM: 614 ГБ/с внутри чипа LPDDR5X
Samsung's Processing-in-Memory (PIM)
На Hot Chips 2026 Samsung представила LPDDR5X-PIM — чипы памяти со встроенными вычислительными блоками MAC. Благодаря 16 банкам, каждый со своим PIM-блоком, чип достигает внутренней пропускной способности 614 ГБ/с, что в 8 раз быстрее обычного доступа к DRAM. При этом чип совместим со стандартными контроллерами памяти, используя специальные строки адресов для переключения режимов. Однако интеграция в существующие системы сопряжена с серьёзными проблемами: кэширование, предвыборка и спекулятивное выполнение могут нарушить работу PIM, а многозадачные ОС столкнутся с трудностями при изоляции PIM-регионов.
Работа с PIM-регионом, скорее всего, потребует сделать обращения к памяти неспекулятивными и некэшируемыми, что серьёзно снизит производительность CPU.
- bob1029
Компромисс при размещении вычислений в памяти заключается в том, что нужно точно знать, где в любой момент времени будут находиться зависимые данные. Большинство задач не очень хорошо укладываются в эту схему. ИИ, игры и криптовалюты — наиболее очевидные исключения. Разработка приложений с использованием такого специализированного оборудования невероятно ограничивает. Можно с тем же успехом выпустить ASIC для того, что вы делаете. Все три упомянутые выше приложения в итоге получили свои собственные варианты.
Я думаю, что узкое место фон Неймана — это в основном фича. Тот факт, что передача информации на расстоянии дорога, не должен сразу восприниматься как признак того, что это универсально ошибочный подход. Вы платите за что-то, когда тратите все эти джоули. Я бы сказал, что обычно мы тратим энергию впустую в отношении передачи информации (например, зажигаем сетевой интерфейс и медный кабель, потому что нам было лень использовать SQLite), но в других случаях это принципиально необходимо для существования практических решений.
- HarHarVeryFunny
Помню, как проходил проектирование СБИС в рамках программы Computer Science в Бристоле, Великобритания, около 1980 года, по книге Конвея и Мида, и даже тогда упоминалось "смешение обработки и памяти".
Очевидно, что (в конечном счете) данные должны находиться там, где выполняются вычисления, особенно в не-фон-неймановской архитектуре, где перемещение данных не является вариантом, даже если бы вас устраивало падение производительности.
Кажется довольно очевидным, что в конце концов ИИ будет реализован в виде маломощных заказных чипов с конвейерной обработкой данных, объединяющих память/состояние и вычисления, но кто знает!
- samuelknight
Я видел, как они представляли похожую концепцию на Hot Chips в 2020 или 2021 году. Это по-прежнему классная идея, однако людям стоит помнить, что на торговых выставках каждый год предлагается около 20 подобных экзотических конструкций ускорителей, которые никуда не приводят.
- londons_explore
Хотя обработка в памяти, безусловно, будущее, меня не убеждает эта реализация.
Умножение матриц требует, чтобы каждый элемент входных и выходных матриц одновременно находился в одном и том же умножителе (то есть N^2).
Для этого нужно много перемещений данных. Перемещение — это главное; умножение и сложение — побочное шоу с точки зрения энергии и площади кремния. Нужен кольцевой сдвиговый регистр "вокруг чипа", чтобы пропустить каждый элемент одной матрицы мимо каждого элемента другой.
- throwaway173738
Можно просто пойти ва-банк и изменить всю компьютерную архитектуру. Многие аргументы против этого изменения сводятся к тому, что компьютеры и программный код сегодня плохо с этим работают.
- pragma_x
Что меня забавляет в переносе вычислений в банк памяти, так это то, что это почти напоминает то, где мы были с расширенной памятью на базе ISA в 1980-х. Некоторые карты имели процессор, который брал на себя всю систему и/или функционировал как апгрейд. Другие были "компьютером на карте", предоставлявшим другие возможности. Думаю, это показывает, насколько цикличны технологии. Так что что-то вроде изобретения Samsung здесь могло бы получить распространение, поскольку преодоление медленной шины PC ISA стало бы огромным ускорителем, примерно как сейчас.
- consp
То есть вы фактически избавляетесь от кэша для используемой области памяти? Интересно, каковы будут на практике смещения промахов кэша (в статье это упоминается, но Samsung не дает решения/влияния).
- OptionX
Так вместо того, чтобы добавлять больше кэша на процессор, вы просто помещаете процессор в кэш.