ユニファイドメモリの真実：なぜミニPCは巨大GPUでは動かない70Bモデルを実行できるのか

Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't

約2000ドルの2台のマシンを比較：NVIDIA RTX 5090搭載タワー（32GB VRAM、1792 GB/s）と、AMD Ryzen AI Max+ 395搭載のミニPC（128GB統合メモリ、約256 GB/s）。70Bパラメータのモデルを実行する際、RTX 5090はメモリ不足で不可能だが、ミニPCは低速ながら実行可能。この違いはユニファイドメモリの概念に起因し、容量とメモリ帯域幅のトレードオフが鍵。ミニPCは容量で勝り、GPUは帯域幅で勝る。また、プロンプト処理はコンピュートバウンドで、ミニPCの弱点となる。NPUはLLM実行にはほぼ無関係で、ソフトウェアサポートも限定的。実測では、Strix Haloでの70Bモデルは毎秒4〜6トークン程度で、バッチ処理や忍耐強いチャットに適する。MoEモデルなら高速化可能。