Samsung Lleva la Computación en Memoria a LPDDR5X con 8x de Ancho de Banda
Samsung's Processing-in-Memory (PIM)
En Hot Chips 2026, Samsung presentó su tecnología Processing-in-Memory (PIM) integrada en chips LPDDR5X. Al colocar bloques de cómputo MAC en cada banco de memoria, los chips pueden explotar el ancho de banda interno de 614 GB/s, ocho veces superior al de los accesos DRAM convencionales. Aunque el rendimiento de cómputo por chip es modesto (2.4 TOPS), la compatibilidad con controladores de memoria estándar permite su uso en sistemas existentes. Sin embargo, el artículo destaca los desafíos de software: los modos PIM interfieren con la multitarea, el caché y la ejecución especulativa, lo que dificulta su adopción práctica.
Trabajar con una región PIM probablemente implicará hacer accesos a memoria no especulativos y no cacheables, lo que paralizará el rendimiento de la CPU.
- bob1029
La compensación de poner la computación en la memoria es que tienes que saber exactamente dónde estará la información dependiente en todo momento. La mayoría de los problemas no se ajustan bien a este patrón. La IA, los juegos y las criptomonedas son las excepciones más obvias. Es increíblemente restrictivo desarrollar aplicaciones usando hardware especializado como este. Podrías igualmente crear un ASIC para lo que sea que estés haciendo. Las 3 aplicaciones mencionadas anteriormente eventualmente obtuvieron sus propias variantes.
Creo que el cuello de botella de Von Neumann es principalmente una característica. El hecho de que la comunicación de información a través de distancias sea costosa no debería asumirse inmediatamente como que es universalmente defectuoso hacer esto. Estás pagando por algo cuando usas todos esos julios. Yo diría que normalmente estamos desperdiciando nuestra energía con respecto a la comunicación de información (por ejemplo, encendiendo una interfaz de red y cobre porque no nos molestamos en usar SQLite), pero otras veces esto es fundamentalmente necesario para que existan soluciones prácticas.
- HarHarVeryFunny
Recuerdo tomar diseño VLSI como parte de mi licenciatura en Ciencias de la Computación en Bristol, Reino Unido, alrededor de 1980, usando el libro de Conway y Mead, y la 'mezcla de procesamiento y memoria' ya se mencionaba incluso entonces.
Obviamente, (eventualmente) necesitas tus datos donde está la computación, especialmente en una arquitectura no von Neumann donde mover datos no es una opción incluso si estuvieras de acuerdo con la caída de rendimiento.
Parece bastante obvio que eventualmente la IA se implementará como chips personalizados de bajo consumo y flujo de datos que integren memoria/estado y computación, ¡pero quién sabe!
- samuelknight
Los vi presentar un concepto similar en Hot Chips en 2020 o 2021. Sigue siendo una idea genial, sin embargo, la gente debería recordar que hay como 20 de estos diseños de aceleradores exóticos presentados en ferias comerciales cada año que no llegan a ninguna parte.
- londons_explore
Aunque el procesamiento en memoria es claramente el futuro, no estoy convencido por esta implementación.
La multiplicación de matrices implica que cada entrada de las matrices de entrada y salida esté en el mismo multiplicador al mismo tiempo. (Es decir, N^2).
Para hacer eso, se necesita mucho movimiento de datos. El movimiento es lo principal: la multiplicación y la suma son un espectáculo secundario en cuanto a energía y espacio de silicio. Necesitas un registro de desplazamiento en anillo 'alrededor del chip' para pasar cada elemento de una matriz junto a cada elemento de la otra.
- throwaway173738
Podrías simplemente ir a lo grande y cambiar toda la arquitectura de la computadora, entonces. Muchos de los argumentos en contra de este cambio se reducen a que las computadoras y el código de software no funcionan bien con esto hoy en día.
- pragma_x
Lo que me resulta divertido de mover la computación a un banco de RAM es que _casi_ se parece a donde estábamos con la RAM extendida basada en ISA en los años 80. Algunas tarjetas contaban con una CPU que tomaba el control de todo el sistema y/o funcionaba como una actualización. Otras eran una 'computadora en una tarjeta' que proporcionaba otras características. Creo que esto demuestra lo cíclica que puede ser la tecnología. Entonces, algo como el invento de Samsung aquí podría haber ganado tracción, ya que superar el lento bus ISA de PC habría sido un gran acelerador, algo así como donde estamos ahora.
- consp
¿Entonces básicamente te deshaces de la caché para la región de memoria utilizada? Me pregunto cuáles serán los offsets de los fallos de caché en la práctica (el artículo lo aborda pero no hay solución/impacto dado por Samsung).
- OptionX
Así que en lugar de poner más caché en la CPU, pones la CPU en la caché.