colibrì - Run GLM-5.2 (744B MoE) on 25GB RAM consumer machines

Show HN: Getting GLM 5.2 running on my slow computer

colibrì es un motor de inferencia en C puro que permite ejecutar el modelo GLM-5.2 (744B parámetros MoE) en ordenadores de consumo con solo ~25 GB de RAM. Su innovador diseño mantiene la parte densa del modelo en memoria y transmite los expertos enrutados desde el disco bajo demanda, logrando un rendimiento sorprendente sin GPU. Incluye atención MLA con caché KV comprimida, decodificación especulativa MTP, kernels AVX2 optimizados y un caché adaptativo que aprende de tu uso. Ideal para desarrolladores y entusiastas que quieran experimentar con modelos de frontera en hardware asequible.