U盘内存有望解决AI大模型存储难题

High-Bandwidth Flash offers efficient storage for model weights

随着大语言模型对内存需求的爆炸式增长，传统的高带宽内存HBM面临产能瓶颈。Sandisk与SK Hynix联手推出的High Bandwidth Flash（HBF）技术，将U盘和SD卡中常见的NAND flash通过3D堆叠技术升级，大幅提升了读取速度。虽然HBF写入速度较慢，不适合模型训练，但其非易失性特性使其成为AI推理阶段存储静态模型权重的理想选择。这项技术能让HBM专注于高速缓存，从而降低运行大规模模型所需的加速器数量，为AI基础设施带来更具成本效益的解决方案。

"闪存写入速度极慢，但在读取方面，只要加以优化，速度就能相当快，而High Bandwidth Flash正是为此而生。"