HBF: la promesa de flash de alta capacidad en el paquete del chip

Hot Chips 2026: Applying High Bandwidth Flash (HBF)

En el tutorial de Hot Chips 2026, Anurag Agarwal y Radhakrishna Giduthuri presentaron High Bandwidth Flash (HBF), una tecnología que integra memoria flash directamente en el paquete del procesador, similar a HBM. Aunque aún no existen productos, las simulaciones muestran su potencial para cargas de machine learning: podría almacenar expertos de MoE o la caché KV de vLLM, reduciendo la comunicación entre GPUs. Sin embargo, su acceso por bloques y la necesidad de gestión tipo SSD plantean desafíos de software considerables.