Qwen3.8-27BがiPhone 18のNeural Engineで毎秒70トークンに到達
Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
AnemllがQwen3.8-27BをiPhone 18のApple Neural Engine上で動かし、1.5 bpwまで再量子化したモデルでデコード速度15〜70 tok/sを達成したと報告。PrismMLのBonsai-2をベースに、ドラフトモデルdflash-2を組み合わせた投機的デコードを採用し、K/Vをint8にしても24Kコンテキストを維持できることを確認した。A20のNeural Engineの速さが際立つ結果だ。
K/Vを両方int8にしてもiPhoneで24Kコンテキストを確認。Delta netはFP16のまま。予測しやすいコンテキストならデコードは70 tok/sまで達する。A20のApple Neural Engineは速い🚀
HNでの議論
10- Retr0id
スレ主さん、アップボートを求めるのはHNのガイドライン違反ですよ: https://x.com/anemll/status/2111531629529456771
- analog_daddy
こんにちは。こうしたローカルモデルを動かしてみるのに向いたApp Storeアプリのおすすめ（できれば実際のリンク付きで）を誰か教えてもらえませんか？ サイドロードは今のところ（自分には）手間の割に合わない気がするので、あまり興味がありません。
App Storeの検索は壊れていて、ローカル対応をうたうアプリが山ほどあっても、レビューを読むと結局はクエリをリモートサーバーに送っているだけの別の詐欺だったりするんですよね。
- createful
QwenではなくBonsaiですよ。Qwenをベースにしていて似たスコアを出しますが、「完全な」Qwenではありません。
覚えている限りでは、iOSで1〜2GBを超えるモデルを動かそうとすると拒否されたはずです。少なくともLocally AIではそうでした。iOSはアプリが強制終了されるまでに約1〜2GBのRAMしか使わせてくれません。ただ、彼らのNeural APIを使えばこれを回避できるかもしれません。