Qwen 27B 모델이 iPhone 18 Neural Engine에서 초당 70토큰으로 돌아간다
Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
ANEMLL이 iPhone 18의 Apple Neural Engine에서 Qwen 3.8-27B 모델을 구동한 결과를 공개했다. PrismML의 Bonsai-2를 1.5 bpw로 재양자화하고 dflash-2 드래프트 모델을 더해 디코딩 속도 15~60 tok/s를 기록했으며, K/V 캐시를 int8로 유지한 채 24K 컨텍스트도 확인했다. 문맥 예측이 쉬운 경우에는 70 tok/s까지 치솟는다.
iPhone에서 K/V를 모두 int8로 두고 24K 컨텍스트를 확인했다. Delta net은 FP16을 유지한다. 예측하기 쉬운 문맥에서는 디코딩이 70 tok/s까지 치솟는다. A20의 Apple Neural Engine은 빠르다 🚀
HN 토론
10- Retr0id
OP, 업보트를 구걸하는 건 HN 가이드라인에 위배됩니다: https://x.com/anemll/status/2111531629529456771
- analog_daddy
안녕하세요. 이런 로컬 모델을 실행해 볼 수 있는 App Store 앱 추천(가능하면 실제 링크 포함해서)을 공유해 주실 분 계신가요? 사이드로딩은 현재 (제 기준에서는) 수고에 비해 얻는 게 적은 것 같아서 별로 관심이 없습니다.
App Store 검색은 좀 망가진 상태라, 로컬이라고 주장하는 앱이 정말 많아도 리뷰를 읽어 보면 결국 또 하나의 사기여서 보통은 질의를 원격 서버로 보내는 식이더라고요.
- createful
Qwen이 아니라 Bonsai입니다. Qwen을 기반으로 하고 비슷한 점수를 내긴 하지만, "완전한" Qwen은 아닙니다.
제가 기억하기로는, iOS에서 1-2 GB가 넘는 모델을 실행하려고 하면 거부하더군요. 적어도 Locally AI에서는 그랬습니다. iOS는 앱이 약 1-2 GB의 RAM을 쓰면 강제 종료시키는 것 같습니다. 다만 그들의 Neural API를 쓰면 이 제한을 우회할 수도 있을 겁니다.