Hot Chips 2026: High Bandwidth Flash könnte die DRAM-Knappheit lindern
Hot Chips 2026: Applying High Bandwidth Flash (HBF)
High Bandwidth Flash (HBF) verspricht massive Kapazität direkt auf dem Prozessor-Package, ähnlich wie HBM, aber mit SSD-Technologie. Auf dem Hot Chips 2026 Tutorial zeigten Anurag Agarwal und Radhakrishna Giduthuri, wie HBF für Machine-Learning-Workloads eingesetzt werden könnte. Da es noch keine HBF-Produkte gibt, basiert die Analyse auf Simulationen und Projektionen. Die Software-Herausforderungen sind enorm: HBF erfordert blockweise Zugriffe und DMA-Transfers, ähnlich wie bei einem Blockgerät. Die Autoren diskutieren Strategien für vLLM, etwa das Auslagern von MoE-Experten oder KV-Cache in den Flash-Speicher, sowie die Reduzierung von Cross-Device-Kommunikation durch Replikation. Kostentechnisch lohnt sich HBF vor allem bei nicht bandbreitenlimitierten Workloads.
Ich würde so weit gehen zu sagen, dass der Aufwand, HBF zu nutzen, nicht weit von dem entfernt ist, was nötig wäre, um den DRAM-Verbrauch zu reduzieren, indem man Modellgewichte direkt von einer SSD streamt.