Memoria unificada: por qué los mini PC ejecutan modelos de 70B que una GPU grande no puede

Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't

Un mini PC de 128 GB puede cargar un modelo de 70B que una RTX 5090 no puede, pero a cambio sufre una velocidad de generación lenta. Este artículo explica el concepto de memoria unificada y los dos números clave: capacidad y ancho de banda. Mientras que la capacidad permite cargar modelos grandes, el ancho de banda limita la velocidad de generación de texto. Además, se analiza el procesamiento de prompts, que es intensivo en cómputo y donde los mini PC se quedan cortos, y se desmiente la utilidad del NPU para LLMs. Se incluyen datos de benchmarks y recomendaciones según el uso.