SamsungのLPDDR5X-PIM、内部帯域幅614GB/sでDRAM計算を8倍高速化
Samsung's Processing-in-Memory (PIM)
Hot Chips 2026でSamsungが発表したProcessing-in-Memory（PIM）技術。LPDDR5Xチップの各バンクにMACユニットを統合し、外部バスを介さずに内部帯域幅を活用することで、通常のDRAMアクセス（76.8GB/s）と比較して約8倍の614GB/sを実現。標準的なメモリコントローラと互換性を保ちつつ、特殊な行アドレスを用いてPIMモードを切り替える。INT8/FP8で最大2.4TOPSの演算性能を提供し、8チップ構成ではIntel Meteor LakeのNPUに匹敵する。しかし、PIMモード中のキャッシュ無効化やプリフェッチ無効化、OSのタスク管理への影響など、ソフトウェア面での課題が大きい。
PIMリードは、データを取得するだけでなくPIM VRF値を変更する計算を引き起こすため、MMIOアクセスのように振る舞う。
HNでの議論
106- bob1029
メモリに計算を置くことのトレードオフは、依存する情報が常にどこにあるかを正確に把握しなければならないことです。ほとんどの問題はこのパターンにうまく適合しません。AI、ゲーム、暗号通貨が最も明白な例外です。このような専用ハードウェアを使ってアプリケーションを開発するのは非常に制約が大きいです。何をするにしてもASICを設計するのと同じようなものです。上記の3つのアプリケーションはすべて、最終的に独自のバージョンを手に入れました。
フォンノイマン型ボトルネックは、むしろ機能だと思います。距離を超えて情報を通信することが高コストであるという事実を、それが普遍的に欠陥があると即座に想定すべきではありません。それらのジュールをすべて使うとき、あなたは何かにお金を払っているのです。情報通信に関しては、通常はエネルギーを無駄にしていると私は主張します（例えば、SQLiteを使うのが面倒だからネットワークインターフェースと銅線を点灯させるなど）。しかし、他の場合には、実用的な解決策が存在するためにこれが根本的に必要なこともあります。
- HarHarVeryFunny
1980年頃、英国ブリストル大学でコンピュータサイエンスの学位の一部としてVLSI設計を学んだことを覚えています。Conway & Meadの本を使い、「処理とメモリの混在」はその当時から言及されていました。
明らかに、データは（最終的に）計算が行われる場所にある必要があります。特に、データを移動することが性能低下を許容できる場合でも選択肢にない非フォンノイマン型アーキテクチャではなおさらです。
最終的にAIは、メモリ/状態と計算を統合した低消費電力のデータフローカスタムチップとして実装されるだろうというのは、ある意味当然のことのように思えますが、誰にもわかりません！
- samuelknight
2020年か2021年のHot Chipsで、彼らが同様のコンセプトを発表するのを見ました。今でも素晴らしいアイデアですが、毎年トレードショーで提案されるエキゾチックなアクセラレータ設計は約20あり、そのほとんどが実用化されないことを覚えておくべきです。
- londons_explore
メモリ内処理が明らかに未来である一方、この実装には納得できません。
行列乗算では、入力行列と出力行列のすべての要素が同時に同じ乗算器に存在する必要があります（つまり、N^2）。
そのためには、多くのデータ移動が必要です。移動が主要なものであり、乗算と加算はエネルギーとシリコン面積の点で脇役です。一方の行列のすべての要素をもう一方の行列のすべての要素に通すための「チップ全体にわたる」リングシフトレジスタが必要です。
- throwaway173738
それなら、コンピュータアーキテクチャ全体を変えてしまえばいいでしょう。この変更に対する反対意見の多くは、今日のコンピュータとソフトウェアコードがこれにうまく対応していないという点に帰着します。
- pragma_x
RAMバンクに計算を移すことについて面白いと思うのは、1980年代のISAベースの拡張RAMの時代をほぼ彷彿とさせることです。一部のカードはシステム全体を引き継ぐCPUを搭載し、アップグレードのように機能しました。他は「カード上のコンピュータ」として他の機能を提供しました。これはテクノロジーがどれほど循環的であるかを示していると思います。したがって、サムスンのような発明は、遅いPC ISAバスを克服することが大きな加速要因となったように、当時なら支持を得ていたかもしれません。今の状況と似ています。
- consp
つまり、使用するメモリ領域のキャッシュを実質的に廃止するということですか？実際のキャッシュミスのオフセットがどうなるのか気になります（記事では触れられていますが、サムスンから解決策や影響は示されていません）。
- OptionX
つまり、CPUにもっとキャッシュを載せる代わりに、キャッシュにCPUを載せるわけですね。