MAPLE - MoE LLMを6GB GPUで動かす超低ビットプルーニング
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
MAPLEは、Mixture-of-Experts（MoE）LLMを2ビット未満の実効ビット数まで構造圧縮するオープンソースツールです。Gemma 4 26B-A4Bを9.92GBからわずか4.75GBへと縮小し、6GBのノートPC向けGPUでも100%VRAM内で動作させ、毎秒45.4トークンという驚異的な速度を実現します。llama-imatrixで実際の活性化を計測し、休眠エキスパートを削減する独自パイプラインはドメイン非依存で、PythonコーディングやSTEM推論に最適化。Hugging Faceで公開中のGGUFモデルをllama.cppで即実行できます。
Gemma 4 26B-A4Bを9.92GBから4.75GBへ圧縮し、6GBのノートPC GPUで100%VRAM実行と毎秒45.4トークンを実現しました。
- aetherspawn
Macでのtpsは改善されますか？
例えば50tpsから300tpsへの6倍の改善はかなり驚きです。より大きなモデルを使うのではなく、高速なトークンを大量に得ることでほぼすべての問題を力技で解けるという閾値があるらしいです。
- viraptor
興味深いアプローチですが…パフォーマンスへの影響はどうなのでしょうか？検証は本当に些細なタスクに対してしか行われていないようです。元のモデルとプルーニングしたモデルの両方で、既知のコーディングベンチマークを走らせてみてはどうでしょう？
またGemmaはMoeではなくmodemです（https://arxiv.org/html/2410.07490v1）。なのでトークンごとにエキスパート選択のバランスを取ろうとするでしょう。このモデルへの期待には少し懐疑的です。
- hxii
同じプロセスは理論上LFM2.5-24B-A2Bでも繰り返せるのでしょうか？