Maple-Preview - 20B ternary MoE running at 120 tok/s on iPhone

Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone

Maple-Previewは、DeepGroveが開発したオープンソースの20B-A1B三値重み推論LLMです。IMOレベルの問題を解き、Mac mini M4で毎秒200トークン以上、iPhoneで毎秒127トークンという驚異的な速度で動作します。5.31GBの軽量チェックポイントと131,072トークンのコンテキストを備え、オンデバイスでの推論を可能にします。Maple-Previewは、低精度を第一級市民として扱う独自の設計思想に基づき、効率性と性能の両立を実現。ユーザーの好みを学習するオンデバイス適応機能も搭載し、パーソナルAIアシスタントの新時代を切り開きます。