显存受限 GPU 上 BLR 模型加速新突破

Accelerating Block Low-Rank Foundation Model Inference on MemoryConstrained GPUs

Transformer 大模型越来越大，单卡显存根本扛不住。虽然 Block Low-Rank (BLR) 压缩技术能减小模型体积，但在 Jetson Orin Nano 或 A40 等显存受限设备上，多 token 推理反而因数据搬运过多变成内存瓶颈，速度不升反降。我们深入分析了 Roofline 模型，发现 PyTorch 默认实现存在编译器限制。为此，我们基于 Triton 定制了内核，通过部分融合和内存布局优化，在 Monarch 和 BLAST 方法上实现了高达 3.76 倍的加速，同时保持 3 倍的模型压缩率，让 Llama 和 GPT2 等模型在边缘设备上也能高效运行。

"尽管结构化低秩分解减少了名义上的计算需求，但它们也引入了额外的中间数据移动，特别是在长序列场景下，这会将线性层从计算受限状态推入内存受限状态，从而在算法承诺与系统现实之间制造鸿沟。"