Qwen3.8-27B corre en el Neural Engine del iPhone 18 y alcanza los 70 tok/s
Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
Anemll confirma que Qwen3.8-27B funciona en el Apple Neural Engine del iPhone 18 con un contexto de 24K y K/V en int8, mientras la delta net se mantiene en FP16. El modelo base es Bonsai-2 de PrismML, cuantizado a 1.5 bpw, y se le suma un draft model dflash-2 a unos 2.8 bpw para acelerar la decodificación especulativa. La velocidad de decodificación va de 15 a 70 tok/s según lo predecible que sea el contexto.
Confirmado: contexto de 24K en iPhone con K/V en int8. La delta net se queda en FP16. La decodificación también llega a 70 tok/s cuando el contexto es fácil de predecir. El Apple Neural Engine del A20 es rápido 🚀
- Retr0id
OP, pedir upvotes va contra las normas de HN: https://x.com/anemll/status/2111531629529456771
- analog_daddy
Hola. ¿Alguien podría compartir recomendaciones (ojalá con enlaces reales) de apps de la App Store para probar a ejecutar este tipo de modelos locales? La verdad no me interesa mucho el side-loading, ya que por ahora me parece (a mí) más un fastidio que otra cosa.
La búsqueda de la App Store está rota en el sentido de que puede haber muchísimas apps que dicen ser locales, pero en cuanto lees las reseñas, resulta ser otra estafa más en la que normalmente envían tu consulta a un servidor remoto.
- createful
No es Qwen, es Bonsai. Aunque está basado en Qwen y logra puntuaciones similares, no es el Qwen "completo".
Hasta donde recuerdo, al intentar ejecutar un modelo de más de 1-2 GB en iOS, se negaba a hacerlo, al menos desde Locally AI. iOS solo permite a las apps usar aproximadamente 1-2 GB de RAM antes de que las maten. Aunque usar sus APIs Neural podría saltarse esto.