MAPLE - Sub-2-BPW MoE Pruning для запуска Gemma 4 26B на 6GB GPU
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
MAPLE — это инструмент структурного сжатия Mixture-of-Experts LLM, который позволяет запускать Gemma 4 26B-A4B на ноутбуке с 6GB VRAM. Благодаря профилированию активаций экспертов и удалению неиспользуемых, модель сжимается с 9.92 GB до 4.75 GB (1.48 бит на параметр), полностью помещается в видеопамять и генерирует 45.4 токена в секунду — в 6.57 раза быстрее базовой версии. Готовый GGUF-контейнер доступен на Hugging Face, а пайплайн можно адаптировать под любую предметную область. Идеально для локального запуска сложных моделей на слабом железе.
Сжатие Gemma 4 26B-A4B с 9.92 GB до 4.75 GB (1.48 эффективных бит на параметр) обеспечивает 100% выполнение в VRAM на ноутбучных GPU с 6 GB и пропускную способность 45.4 токена в секунду.
- aetherspawn
Улучшает ли это tps на Mac?
Шестикратное улучшение с 50tps до 300tps, например, было бы довольно впечатляющим. По-видимому, существует некий порог, после которого практически любую задачу можно решить перебором, имея много быстрых токенов, а не более крупную модель.
- viraptor
Интересный подход, но... каково влияние на производительность? Похоже, проверка проводилась только на совсем тривиальных задачах. Почему бы не прогнать какой-нибудь известный бенчмарк по программированию на оригинальной и на пруненной версии?
К тому же Gemma — это MoE, а не modem (https://arxiv.org/html/2410.07490v1), так что будет пытаться балансировать выбор экспертов для каждого токена — у меня есть сомнения насчёт ожиданий от этой модели.
- hxii
Можно ли теоретически повторить тот же процесс с LFM2.5-24B-A2B?