USBメモリの技術がAIのメモリ問題を解決する「High Bandwidth Flash」

High-Bandwidth Flash offers efficient storage for model weights

LLMの推論には膨大なメモリが必要だが、HBMは高価で供給が追いつかない。そこで注目されるのが、SandiskとSK Hynixが開発するHigh Bandwidth Flash（HBF）。NANDフラッシュをHBMのように積層して帯域幅を大幅に向上させ、読み取り専用のモデル重みを格納することで、HBMをスクラッチパッドとして解放する。最大512GB、読み取り帯域幅1.6TB/sを見込み、Open Compute Projectで標準化を進める。