colibrì - Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine

Show HN: Getting GLM 5.2 running on my slow computer

colibrìは、純粋なC言語で書かれた軽量エンジンで、744BパラメータのMoEモデルGLM-5.2を、わずか25GBのRAMを搭載した一般消費者向けPCで実行できるようにします。専門家をディスクからストリーミングすることで、約370GBのモデルを約9.9GBの常駐メモリで動作させます。ゼロ依存、GPU不要、Python不要で、MTP投機的復号化や適応型エキスパートキャッシュなどの高度な最適化を備えています。このプロジェクトは、高性能AIを民主化し、誰でもフロンティアクラスのモデルを手頃なハードウェアで実行できるようにすることを目指しています。