迷你PC为何能跑70B模型而RTX 5090不行？

Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't

把一台搭载RTX 5090的塔式机和一台仅2000美元的AMD Ryzen AI Max+ 395迷你PC放在桌上，面对70B参数模型，结果令人咋舌：RTX 5090因显存不足直接无法加载，而迷你PC却能轻松运行。这背后的秘密在于Unified Memory架构，它打破了CPU与GPU的显存壁垒，让迷你PC能拥有128GB甚至更大的内存池。然而，容量换来了速度：迷你PC的内存带宽远低于独立显卡，导致生成文本像慢速阅读。文章深入解析了Capacity与Memory Bandwidth这对矛盾如何决定LLM性能，并指出MoE模型是提升迷你PC速度的关键，同时提醒长文本处理时的Prompt Processing瓶颈。

"迷你PC的缓慢并非驱动问题或芯片孱弱，而是内存带宽数字上的算术结果。"