통합 메모리: 미니 PC가 대형 GPU로는 불가능한 70B 모델을 실행하는 이유

Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't

약 2,000달러의 두 시스템을 비교해 보면, RTX 5090(32GB VRAM, 1,792GB/s)은 70B 모델을 실행할 수 없지만, AMD Ryzen AI Max+ 395 'Strix Halo' 미니 PC(128GB 통합 메모리, 256GB/s)는 실행할 수 있습니다. 이 기사는 통합 메모리 아키텍처가 용량을 늘리는 대신 메모리 대역폭을 희생하는 이유를 설명하고, 메모리 대역폭이 텍스트 생성 속도를 결정하는 방식, 프롬프트 처리의 병목 현상, NPU의 한계, 사용자 보고 결과를 다룹니다. MoE 모델이 미니 PC에서 빠른 속도를 내는 예외도 소개합니다.