Samsung lleva la computación a la DRAM: 8 veces más ancho de banda para IA
Processing in Memory: DRAM Is About to Do Math
En Hot Chips 2026, Samsung presentó LPDDR5X-PIM, un paquete de memoria de 16 GB que alcanza 614 GB/s de ancho de banda interno, ocho veces más que sus pines externos (76.8 GB/s). Esto iguala el ancho de banda de un Apple M5 Max, pero dentro de un solo módulo de memoria. En pruebas con Llama 3.1 8B, logró 3.01x más rendimiento (81.3 tok/s vs 27 tok/s) al procesar dentro de la memoria. Sin embargo, el diseño favorece GEMV (decodificación por lotes de 1), dejando de lado GEMM, y enfrenta retos de software: los k-quants de llama.cpp no se mapean, falta un asignador de memoria consciente de bancos, y la verificación especulativa reduce su eficiencia. Samsung apunta a ofrecer ancho de banda tipo HBM sin su costo, pero la integración en runtimes abiertos aún está lejos.
La relación de ocho a uno hace el caso para el procesamiento en memoria: los bancos de DRAM ya proporcionan la mayor parte del ancho de banda; los pines externos no pueden exponerlo.
- roadbuster
"Procesador en memoria" es una idea muy antigua que incluso se exploró en una tesis doctoral de 1998: "Computational RAM: A Memory-SIMD Hybrid"*. En ese momento, la motivación era: "Entre un chip de DRAM y un microprocesador montado en una placa de circuito, solo podemos obtener unos pocos cientos de megabytes por segundo de ancho de banda. Sin embargo, dentro del propio chip de memoria, hay cientos de gigabytes (terabits) de ancho de banda disponibles, así que ¿por qué no mover parte de la lógica allí?". Y luego el autor lo llevó al extremo donde había una amplia gama de procesadores de 1 bit en cada columna de DRAM. (Nota: la razón por la que el PIM real no es viable es debido al proceso de semiconductores radicalmente diferente utilizado para DRAM frente a la lógica digital de alta velocidad, es decir, tus circuitos lógicos digitales funcionarán mal en un "proceso de DRAM").
Los diseñadores de HBM5 tuvieron las mismas observaciones y pensaron: "¿por qué no ponemos un chip lógico en la parte inferior de la pila de chips de DRAM HBM y obtenemos un ancho de banda de memoria extremadamente alto?". Pero, al observar esto, también te darás cuenta rápidamente de que esto es casi exactamente lo que Intel y Micron propusieron hace 15 años como Hybrid Memory Cube** (que perdió en el mercado frente a la alternativa más simple, menos costosa y más flexible, HBM)
* https://www.eecg.toronto.edu/~stumm/Theses/Elliott-PhD98.pdf
- jcranmer
El procesamiento en memoria fue uno de los temas adicionales que cubrimos en mi clase de arquitectura de computadoras de posgrado. Hace quince años. Y ya entonces, era claramente una idea pasada de moda.
Uno de los problemas con intentar mover muchas ALUs cerca de la lógica de DRAM es que las ALUs son bastante calientes, y la DRAM es uno de los componentes más sensibles al calor. Hay otros problemas también, como las diferencias de fabricación de procesos mencionadas por un comentario hermano.
- honr
La computación en memoria ha sido la mayor parte de lo que la investigación en electrónica (más precisamente, las partes con las que interactúo) ha estado hablando este año. Hay algunas tendencias y tengo curiosidad por ver cuáles sobreviven en el mercado. Los diseñadores de RAM están muy demandados en el mercado y hay ofertas de trabajo en este momento.
- StilesCrisis
"Los bancos de DRAM ya proporcionan la mayor parte del ancho de banda; los pines externos no pueden exponerlo." Cerré la pestaña.
- MBCook
Así que construyeron una operación muy específica en la RAM. Esta RAM solo sería útil para IA, de lo contrario los transistores son solo un desperdicio.
Y si financiamos un conjunto diferente de operaciones que realmente funcionen mejor para la IA, tampoco puedes ajustarte a eso.
Parece extremadamente limitado. Pero de lo contrario, ¿no terminarías con algo como una gran cantidad de microcontroladores diminutos cada uno accediendo a un conjunto de memoria? El Transputer otra vez.