Swiftlet - Run 80B Qwen on Mac, 35B on iPhone

Show HN: Run an 80B Qwen in 4.3 GB of RAM on a Mac, and a 35B on an iPhone

Swiftlet ist ein Swift- und Metal-Runtime für die Qwen3-Next- und Qwen3.5/3.6-MoE-Modellfamilie. Es hält nur den kleinen dichten Kern eines Modells im Arbeitsspeicher und streamt die gerouteten Mixture-of-Experts-Gewichte bei Bedarf vom Speicher. Dadurch laufen ein 80B-Modell auf einem Mac mit nur 4,3 GB RAM und ein 35B-Modell auf einem iPhone mit etwa 2,5 GB RAM. Die Modelle chatten und schreiben wie große Modelle, erinnern Fakten aber wie kleine. Swiftlet bietet eine Swift-Paket-Bibliothek, eine CLI, einen OpenAI-kompatiblen Server und eine App (Priv AI) für iOS. Es ist vollständig validiert und unterstützt macOS 14+ und iOS 17+.