Maple - Sub-2-BPW MoE Pruning for 6GB GPU LLMs
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
Maple은 Mixture-of-Experts (MoE) LLM을 위한 구조적 압축 도구입니다. Gemma 4 26B-A4B 모델을 9.92GB에서 4.75GB로 줄여, 6GB 노트북 GPU에서도 100% VRAM 실행이 가능하게 합니다. 128개 전문가 중 80개의 휴면 전문가를 제거하고 48개 전문가만 유지하여, Python 프로그래밍과 알고리즘 합성 등 특정 도메인에서 93.8%의 의미 충실도를 유지하면서 45.4 tokens/sec의 속도를 달성합니다. 사전 빌드된 GGUF 모델은 Hugging Face에서 다운로드할 수 있으며, llama.cpp로 바로 실행 가능합니다. 또한, 커스텀 데이터셋으로 도메인 특화 pruning이 가능한 파이프라인도 제공합니다.
Gemma 4 26B-A4B를 9.92GB에서 4.75GB로 압축하여 6GB 노트북 GPU에서 100% VRAM 실행을 가능하게 하고, 45.4 tokens/sec의 처리량을 달성했습니다.
- aetherspawn
Mac에서 tps가 향상되나요?
예를 들어 50tps에서 300tps로 6배 향상된다면 꽤 놀라울 것 같네요. 더 큰 모델 대신 빠른 토큰을 많이 확보하면 거의 모든 문제를 무식하게 풀 수 있는 임계점이 있는 것 같습니다.
- viraptor
흥미로운 접근이긴 한데... 성능 영향은 어떤가요? 아주 사소한 작업에 대해서만 검증한 것 같네요. 원본과 프루닝된 모델에 대해 알려진 코딩 벤치마크를 돌려보지 그랬나요?
또한 Gemma는 MoE이지 modem이 아니므로(https://arxiv.org/html/2410.07490v1) 각 토큰에 대해 export 선택의 균형을 맞추려 할 텐데, 이 모델에 대한 기대가 좀 의심스럽습니다.
- hxii
같은 과정을 이론적으로 LFM2.5-24B-A2B에도 반복할 수 있나요?