MAPLE - Sub-2-BPW MoE-Pruning für Gemma 4 26B auf 6-GB-GPUs
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
MAPLE ist eine Open-Source-Methode zur strukturellen Kompression von Mixture-of-Experts-LLMs. Durch die Identifikation und Entfernung inaktiver Experten schrumpft MAPLE das Gemma 4 26B-A4B-Modell von 9,92 GB auf nur 4,75 GB – das entspricht 1,48 effektiven Bits pro Parameter. Dadurch läuft das Modell vollständig im VRAM einer 6-GB-Laptop-GPU (z. B. RTX 4050) und erreicht beeindruckende 45,4 Tokens pro Sekunde. Die Pruning-Pipeline ist domänenagnostisch und kann mit eigenen Kalibrierungsdaten an spezifische Fachgebiete angepasst werden. Ein vorkonfektioniertes GGUF-Container steht auf Hugging Face zum direkten Download bereit und lässt sich unkompliziert mit llama.cpp ausführen.
Die Kompression von Gemma 4 26B-A4B von 9,92 GB auf 4,75 GB ermöglicht eine 100%ige Ausführung im VRAM auf 6-GB-Laptop-GPUs mit 45,4 Tokens pro Sekunde.
- aetherspawn
Verbessert es die tps für den Mac?
Eine 6-fache Verbesserung von 50tps auf 300tps wäre zum Beispiel ziemlich beeindruckend. Es gibt anscheinend eine Schwelle, ab der praktisch alle Probleme durch eine Menge schneller Tokens statt durch ein größeres Modell per Brute Force gelöst werden können.
- viraptor
Das ist ein interessanter Ansatz, aber... wie sieht es mit der Performance aus? Der Check scheint nur gegen wirklich triviale Aufgaben durchgeführt worden zu sein. Warum nicht einen bekannten Coding-Benchmark gegen das Original und das geprunte Modell laufen lassen?
Außerdem ist Gemma MoE und nicht modem (https://arxiv.org/html/2410.07490v1), also wird es versuchen, die Exportauswahl für jedes Token auszubalancieren – ich bin skeptisch gegenüber den Erwartungen an dieses Modell.
- hxii
Kann derselbe Prozess theoretisch mit LFM2.5-24B-A2B wiederholt werden?