U盘内存有望解决AI大模型存储难题
High-Bandwidth Flash offers efficient storage for model weights
随着大语言模型对内存需求的爆炸式增长，传统的高带宽内存HBM面临产能瓶颈。Sandisk与SK Hynix联手推出的High Bandwidth Flash（HBF）技术，将U盘和SD卡中常见的NAND flash通过3D堆叠技术升级，大幅提升了读取速度。虽然HBF写入速度较慢，不适合模型训练，但其非易失性特性使其成为AI推理阶段存储静态模型权重的理想选择。这项技术能让HBM专注于高速缓存，从而降低运行大规模模型所需的加速器数量，为AI基础设施带来更具成本效益的解决方案。
闪存写入速度极慢，但在读取方面，只要加以优化，速度就能相当快，而High Bandwidth Flash正是为此而生。
HN 评论区
25- 有评论者指出，用 Flash 替代 HBM 是极差的权衡，因为大幅增加容量却维持相同带宽会显著降低带宽容量比，导致系统整体性能下降。
- 多位用户遗憾 Intel 在 RAMpocalypse 前夕停产 Optane，认为其低延迟特性本可作为 AI 模型的 RAM 替代品，而当前技术可能更看重带宽而非延迟。
- 针对 AI 推理场景，有观点认为'慢写快读'的非对称存储架构比当前读写速度一致的 HBM 更契合模型权重加载与 KV cache 扩展的需求。
- 尽管该技术长期潜力巨大，但受限于规格未定及特殊 NAND 晶圆良率问题，短期内难以撼动 HBM 市场，且成本可能依然高昂。