Warum Mini-PCs 70B-Modelle ausführen können, die eine große GPU nicht schafft

Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't

Ein Mini-PC mit 128 GB Arbeitsspeicher kann ein 70B-Sprachmodell laden, während eine RTX 5090 mit 32 GB daran scheitert. Der Grund ist Unified Memory: CPU, GPU und NPU teilen sich einen gemeinsamen Speicherpool, sodass fast der gesamte Speicher für das Modell genutzt werden kann. Doch die geringe Speicherbandbreite begrenzt die Textgenerierung auf wenige Token pro Sekunde, und die schwache integrierte GPU führt bei langen Prompts zu langen Wartezeiten. Der Artikel erklärt die Zusammenhänge anhand von Bandbreite, Roofline-Modell und Praxisberichten.