La memoria de tu pendrive podría resolver el gran problema de la IA
High-Bandwidth Flash offers efficient storage for model weights
Los LLM exigen cantidades enormes de memoria, y los fabricantes aceleran la producción de HBM y DRAM. Pero una alternativa, la High Bandwidth Flash (HBF), apila chips de memoria NAND flash para ofrecer un ancho de banda de lectura muy superior al de los SSD estándar, hasta 1.6 TB/s en su primera generación. Sandisk y SK Hynix impulsan su estandarización en el Open Compute Project. Aunque es más lenta que la HBM, HBF es ideal para inferencia de IA, donde los pesos del modelo son de solo lectura, liberando la HBM para otras tareas y reduciendo costos y consumo energético en los centros de datos.
La gente pregunta: '¿Cómo puede tener sentido esto? La memoria flash es enormemente lenta'. Pero para lecturas, se puede lograr que vaya bastante rápido, y eso es lo que se pretende con High Bandwidth Flash.