Samsung lleva la computación a la DRAM: 8 veces más ancho de banda para IA

Processing in Memory: DRAM Is About to Do Math

En Hot Chips 2026, Samsung presentó LPDDR5X-PIM, un paquete de memoria de 16 GB que alcanza 614 GB/s de ancho de banda interno, ocho veces más que sus pines externos (76.8 GB/s). Esto iguala el ancho de banda de un Apple M5 Max, pero dentro de un solo módulo de memoria. En pruebas con Llama 3.1 8B, logró 3.01x más rendimiento (81.3 tok/s vs 27 tok/s) al procesar dentro de la memoria. Sin embargo, el diseño favorece GEMV (decodificación por lotes de 1), dejando de lado GEMM, y enfrenta retos de software: los k-quants de llama.cpp no se mapean, falta un asignador de memoria consciente de bancos, y la verificación especulativa reduce su eficiencia. Samsung apunta a ofrecer ancho de banda tipo HBM sin su costo, pero la integración en runtimes abiertos aún está lejos.