Swiftlet - 80B Qwen in 4.3GB RAM on Mac

Show HN: Run an 80B Qwen in 4.3 GB of RAM on a Mac, and a 35B on an iPhone

Swiftletは、Appleシリコン搭載デバイス上で大規模なQwenモデルを効率的に実行するためのSwift + Metalランタイムです。メモリに常駐させるのは小さな高密度コアのみで、ルーティングされるMoE（Mixture-of-Experts）の重みはストレージからオンデマンドでストリーミングします。これにより、Macでは80Bモデルを4.3GBのRAMで、iPhoneでは35Bモデルを約2.5GBのRAMで実行できます。このクラスのモデルがネイティブにスマートフォンで動作するのは初めてです。Swiftletはライブラリ、CLI、OpenAI互換サーバー、iOSアプリ（Priv AI）など、さまざまな方法で利用できます。正しさはmlx-lmリファレンスに対して検証済みで、Apache 2.0ライセンスで提供されています。