Qwen3.8-27B запустили на Neural Engine iPhone 18: до 70 токенов в секунду
Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
Anemll подтвердил работу Qwen 3.8-27B на Apple Neural Engine в iPhone 18. Модель Bonsai-2 от PrismML с 1.585 bpw переквантовали до 1.5 bpw (VQ, 6 бит на 4 веса), добавили draft-модель dflash-2 около 2.8 bpw — скорость декодирования достигает 15–70 токенов в секунду. Контекст в 24K токенов работает при K/V в int8, а delta net остаётся в FP16.
Подтверждён контекст 24K на iPhone при K/V в int8. Delta net остаётся в FP16. Декодирование тоже достигает пика в 70 ток/с при легко предсказуемом контексте. Apple Neural Engine на A20 быстрый 🚀
- Retr0id
OP, просить апвоты — это против правил HN: https://x.com/anemll/status/2111531629529456771
- analog_daddy
Привет. Может кто-нибудь поделиться рекомендациями (желательно с реальными ссылками) приложений из App Store, чтобы попробовать запустить такие локальные модели? Мне не очень интересен сайдлоадинг, поскольку сейчас он кажется (мне) более геморройным, чем того стоит.
Поиск в App Store сломан в том смысле, что там может быть столько приложений, которые заявляют, что они локальные, но как только почитаешь отзывы — это очередной развод, где обычно твой запрос отправляется на удалённый сервер.
- createful
Не Qwen, а Bonsai. Хотя он основан на Qwen и достигает похожих результатов, это не «полный» Qwen.
Насколько я помню, при попытке запустить модель размером более 1–2 ГБ на iOS она отказывалась это делать, по крайней мере в Locally AI. iOS позволяет приложениям использовать примерно 1–2 ГБ оперативной памяти, прежде чем их убивают. Хотя использование их Neural API может это обойти.