Maple: 让Gemma 4 26B在6GB显卡上飞跑
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
Maple 是一项创新的模型剪枝技术，专为 MoE 架构的 LLM 设计。它通过 Manifold-Activated Pruning 算法，将庞大的 Gemma 4 26B-A4B 模型从 9.92 GB 压缩至 4.75 GB，同时保留核心推理能力。这意味着开发者仅需 6GB 显存的笔记本电脑，即可实现 100% 显存加载，并获得高达 45.4 Tokens/Second 的生成速度。该项目特别针对 Python 编程、算法合成及 STEM 推理领域进行了优化，剔除了冗余的多语言专家模块，让边缘设备也能流畅运行高性能大模型。
通过剔除 80 个休眠专家，我们保留了 48 个活跃专家流形，在仅 4.75 GB 的体积下实现了 6.57 倍的速度提升，让高性能推理真正走进普通笔记本。
- viraptor
这个思路挺有意思，不过……性能影响如何？看起来测试只针对了一些极其简单的任务。为什么不用一些已知的编程基准测试来对比原版和剪枝后的模型呢？
另外，Gemma 是 MoE 不是 modem（https://arxiv.org/html/2410.07490v1），所以它会尝试为每个 token 平衡导出选择——我对这个模型的预期持怀疑态度。
- aetherspawn
这对 Mac 的 tps 有提升吗？
比如从 50tps 提升到 300tps，达到 6 倍的提升，那就相当惊人了。据说存在一个阈值，只要拥有大量快速生成的 token，几乎任何问题都能通过暴力破解解决，而不需要更大的模型。
- hxii
理论上，同样的流程能复用于 LFM2.5-24B-A2B 吗？