Hot Chips 2026: HBF, SSD를 CPU 패키지에 넣은 듯한 고대역폭 플래시, ML에 적용하려면

Hot Chips 2026: Applying High Bandwidth Flash (HBF)

High Bandwidth Flash(HBF)는 SSD와 동일한 플래시 메모리를 사용하지만 HBM처럼 컴퓨트 칩과 같은 패키지에 큐브 형태로 탑재되어, HBM보다 훨씬 높은 용량을 제공하면서도 준수한 대역폭을 목표로 한다. 아직 제품은 없으며, Hot Chips 2026 튜토리얼에서 Anurag Agarwal과 Radhakrishna Giduthuri는 시뮬레이션과 소프트웨어 적응 방안을 다뤘다. HBF는 DMA를 통해 DRAM과 데이터를 주고받으며, 대용량 정렬 블록 단위로만 접근 가능해 SSD 컨트롤러 기능을 소프트웨어가 처리해야 한다. vLLM에서는 MoE 전문가나 KV 캐시를 HBF에 저장하는 방안이 제시됐고, 비용 관점에서는 대역폭 한계에 도달하지 않는 워크로드에 적합하다. 그러나 소프트웨어 변경이 매우 커서 SSD에서 모델 가중치를 스트리밍하는 것보다 어려울 수 있다는 지적도 나온다.