Swiftlet - Run 80B Qwen in 4.3GB RAM on Mac, 35B on iPhone

Show HN: Run an 80B Qwen in 4.3 GB of RAM on a Mac, and a 35B on an iPhone

Swiftlet es un runtime en Swift y Metal que ejecuta modelos Qwen3-Next y Qwen3.5/3.6 de hasta 80B parámetros en dispositivos Apple comunes, incluyendo iPhones. Mantiene solo el núcleo denso en memoria y transmite los pesos de los expertos desde el almacenamiento bajo demanda, logrando un uso de RAM sorprendentemente bajo: 4.3 GB para el modelo de 80B y 2.6 GB para el de 35B. El modelo de 35B también funciona en un iPhone 17 con unos 2.5 GB de RAM, siendo la primera vez que un modelo de esta clase corre nativamente en un teléfono. Swiftlet ofrece CLI, servidor compatible con OpenAI, y una app open source (Priv AI) para chat local. Su diseño con atención lineal y MoE disperso permite velocidades de 4.5-11 tokens por segundo en Mac. Es ideal para desarrolladores y entusiastas que quieren LLMs potentes sin depender de la nube.