Maple - Sub-2-BPW MoE pruning to run Gemma 4 26B at 45 TPS on a 6GB GPU
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
Maple es una herramienta de compresión estructural para modelos de lenguaje Mixture-of-Experts (MoE) que permite ejecutar Gemma 4 26B-A4B en GPUs de 6 GB. Mediante el perfilado de activaciones con llama-imatrix y una métrica compuesta de frecuencia y energía, elimina expertos inactivos y reduce el modelo de 9.92 GB a 4.75 GB (1.48 bits por parámetro). El contenedor GGUF resultante se ejecuta completamente en VRAM, logrando 45.4 tokens por segundo en una RTX 4050. Incluye scripts para adaptar la poda a cualquier dominio y un benchmark de fidelidad semántica del 93.8%. Ideal para desarrolladores que buscan inferencia local rápida y eficiente en hardware de consumo.
Comprimir Gemma 4 26B-A4B de 9.92 GB a 4.75 GB permite una ejecución 100% en VRAM en GPUs portátiles de 6 GB con un rendimiento de 45.4 tokens por segundo.
- aetherspawn
¿Mejora los tps en Mac?
Una mejora de 6x de 50tps a 300tps, por ejemplo, sería bastante increíble. Aparentemente hay un umbral en el que prácticamente todos los problemas se pueden resolver por fuerza bruta teniendo muchos tokens rápidos en lugar de un modelo más grande.
- viraptor
Es un enfoque interesante, pero... ¿cuál es el impacto en el rendimiento? Parece que la comprobación se hizo solo con tareas realmente triviales. ¿Por qué no ejecutar algún benchmark de programación conocido contra el original y el podado?
Además Gemma es MoE, no modem (https://arxiv.org/html/2410.07490v1), así que intentará equilibrar la elección de exportación para cada token; tengo mis sospechas sobre las expectativas para este modelo.
- hxii
¿Se puede repetir teóricamente el mismo proceso con LFM2.5-24B-A2B?