colibrì - Run GLM-5.2 (744B MoE) on a consumer machine

Show HN: Getting GLM 5.2 running on my slow computer

colibrì는 25GB RAM의 일반 소비자용 PC에서 744B 파라미터의 Mixture-of-Experts 모델인 GLM-5.2를 실행할 수 있게 해주는 경량 엔진입니다. 순수 C 언어로 작성되었으며 외부 의존성 없이, 전문가(expert)를 디스크에서 스트리밍하여 메모리 사용량을 최소화합니다. 약 370GB의 int4 양자화 모델을 사용하며, 상주 메모리는 약 9.9GB에 불과합니다. MTP 추측 디코딩, LRU 캐시, 적응형 전문가 top-p, 학습형 캐시 등을 통해 성능을 최적화했습니다. 이 프로젝트는 H100 GPU 한 대 가격보다 저렴한 하드웨어에서 프론티어급 모델을 실행할 수 있음을 보여줍니다. GitHub에서 코드를 확인하고, 직접 경험해보세요.