High Bandwidth Flash на Hot Chips 2026: как флеш-память на упаковке процессора может изменить ИИ
Hot Chips 2026: Applying High Bandwidth Flash (HBF)
На Hot Chips 2026 Anurag Agarwal и Radhakrishna Giduthuri представили High Bandwidth Flash (HBF) — технологию, которая размещает флеш-память на одном корпусе с вычислительным чипом, подобно HBM. HBF обещает гораздо большую емкость, чем HBM, но требует пересмотра подхода к работе с памятью: доступ к ней осуществляется большими выровненными блоками через DMA, как к SSD. В статье разбираются сценарии применения HBF для ИИ-нагрузок: хранение экспертов MoE и KV-кэша в vLLM, снижение межчипового обмена, а также ограничения по пропускной способности и сложности программной адаптации. Автор сомневается, что HBF станет решением проблемы нехватки DRAM, учитывая огромные усилия по адаптации ПО.
Я бы даже сказал, что усилия, необходимые для использования HBF, не сильно отличаются от того, что потребовалось бы для прямого сокращения использования DRAM путем потоковой передачи весов модели с SSD.