1GBのAndroid TV Boxで16Bモデルが動く、smolmaxxingの挑戦
I'm making LLMs work on small and old devices
XiaomiのTV Box（RAM約1GB）や初代iPad Air（2013年製、RAM 1GB）で、LLMを実用的な速度で動かすプロジェクト。1-bitカーネルや重みのストリーミング、エキスパートのページングなどの工夫で、TV Boxでは16B MoEモデルが5.1 tok/s、iPad Airでは1.7Bモデルが24〜26 tok/sで動作する。すべての数値は実機で計測されている。
このボックスでは、2Bモデルが速度と品質のバランスで最良だ。Ling-mini-2.0は、大きければ自動的に優れているわけではないことを示している。Moon-Beamの2倍のサイズだが、バイトあたりのスコアは悪く、動作も遅い。