Swiftlet - 80B Qwen in 4.3GB RAM on Mac, 35B on iPhone

Show HN: Run an 80B Qwen in 4.3 GB of RAM on a Mac, and a 35B on an iPhone

Swiftlet은 Apple 기기에서 대규모 Qwen 모델을 실행하기 위한 Swift + Metal 런타임입니다. MoE 모델의 핵심만 메모리에 유지하고 라우팅된 전문가 가중치를 스토리지에서 스트리밍하여, Mac에서는 80B 모델을 4.3GB RAM으로, iPhone에서는 35B 모델을 약 2.5GB RAM으로 실행할 수 있습니다. 이는 해당 클래스의 모델이 휴대폰에서 네이티브로 실행된 최초의 사례입니다. Swiftlet은 CLI, OpenAI 호환 서버, iOS 앱(Priv AI)을 제공하며, Apache 2.0 라이선스로 공개되어 있습니다.