Qwen3.8-27B läuft auf dem iPhone 18 mit bis zu 70 Tokens pro Sekunde
Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
Anemll hat bestätigt, dass Qwen3.8-27B auf der Apple Neural Engine des iPhone 18 mit 1,5 bpw läuft. Das Basismodell ist PrismMLs Bonsai-2 mit 1,585 bpw, per Vektorquantisierung auf 1,5 bpw requantisiert. Ein zusätzliches Draft-Modell (dflash-2, rund 2,8 bpw) beschleunigt das Decoding auf 15 bis 60 Tokens pro Sekunde, bei gut vorhersagbarem Kontext sogar bis 70. Ein 24K-Kontext mit K/V in int8 wurde ebenfalls bestätigt.
Bestätigt: 24K-Kontext auf dem iPhone, K und V beide in int8. Das Delta-Netz bleibt in FP16. Das Decoding erreicht ebenfalls Spitzenwerte von 70 Tokens pro Sekunde bei leicht vorhersagbarem Kontext. Die Apple Neural Engine im A20 ist schnell 🚀
- Retr0id
OP, um Upvotes zu bitten, verstößt gegen die HN-Richtlinien: https://x.com/anemll/status/2111531629529456771
- analog_daddy
Hi. Könnte jemand Empfehlungen (hoffentlich mit echten Links) für App-Store-Apps teilen, mit denen man solche lokalen Modelle ausprobieren kann? Ich bin nicht wirklich am Sideloading interessiert, da es mir derzeit (zumindest für mich) mehr Aufwand zu sein scheint, als es wert ist.
Die App-Store-Suche ist in dem Sinne kaputt, dass es so viele Apps geben mag, die behaupten, lokal zu sein, aber sobald man die Rezensionen liest, ist es nur ein weiterer Betrug, bei dem die Anfrage üblicherweise an einen entfernten Server geschickt wird.
- createful
Nicht Qwen, sondern Bonsai. Obwohl es auf Qwen basiert und ähnliche Ergebnisse erzielt, ist es nicht das "vollständige" Qwen.
Soweit ich mich erinnere, verweigerte iOS das Ausführen eines Modells über 1-2 GB, zumindest bei Locally AI. iOS erlaubt Apps nur etwa 1-2 GB RAM, bevor sie beendet werden. Die Nutzung ihrer Neural-APIs könnte dies jedoch umgehen.