Mac StudioでQwen3.8 27Bをローカル実行：実測値
Run Qwen3.8 27B locally: real numbers from my Mac Studio
Qwen3.8 27BをMac Studio M3 Ultraで10日間使い、RSS要約やスキャン文書の整理などのバックグラウンドタスクに活用。ベンチマークでは、Ollamaでの生成速度は約14トークン/秒で、前モデルのqwen3.6 27Bの約28.6トークン/秒の半分だが、回答あたりのトークン数が約3分の1のため、実時間ではほぼ同等。1ビット量子化（6.7GB）は27トークン/秒で動作するが、決断力に欠ける。RAM要件や実行方法、llama.cppの更新の必要性も解説。
1ビット量子化はパーティートリックであり、本当の教訓を与えてくれる。量子化はモデルを均等に劣化させるわけではない。事実は生き残り、決断力は死ぬ。
HNでの議論
75- Youden
LLMをローカルで動かすためのシステムを買うことを考えているんだけど、Qwen3.8-27Bを快適に動かせるものの値段が正直かなり引くわ。代わりに検討しているのは、TEEとE2EEを使って、プロンプトとレスポンスが自分とGPUだけにしか見えないことを暗号学的に保証してくれる推論プロバイダーだ。ドキュメントや保証内容の説明を読んでも、秘密情報を預けるのに本当に安心できるレベルにはなかなか達しないんだよな。例えばPhalaはゲートウェイまでのE2EEだけで、その後は（第三者かもしれない）プロバイダーにプロンプトを転送するみたいだし。この道を進んで、安全だと感じられるプロバイダーを見つけた人っている？
- Infernal
3.6と比較して、同じパラメータサイズと量子化で3.8の生成性能が半分になっているのを見て本当に驚いているんだけど（しかもプリフィル性能は同じなのに）— スタックのどこかに3.6用の最適化があって、それがまだ3.8に適用されていないってこと？この明らかな不一致に他の人も驚いているのか、それともすぐに説明できる人がいるのか興味がある。
- Atreiden
同じ挙動を経験しているよ。4-8ビット量子化を試したけど、14-17トークン/秒で、最高でも19トークン/秒だった。UnslothかLM Studioでのdflash2サポートを待っているんだけど、それでスループットが30トークン/秒くらいになるらしい。それが、まあまあインタラクティブだと思える最低ラインだ。ninferで100トークン/秒以上出してる5090持ちの人たちが羨ましいよ。その速度なら、本当にフロンティアモデルの代替になると思う。
- rbanffy
アイルランドでは、MacがStrix Haloのボックスより安くなるのがかなり印象的だ。M5 Max搭載の128GB Mac Studio（Ultraは96GBか256GBしか選べない）でも、同程度の性能の「GMKtec EVO-X2」やNvidia DGX Sparkよりまだ安い。アメリカでも同じなのかな？
- pwython
そうそう、Qwen3.8は64GBのM4 Maxでも楽しくなかったよ（この数字よりはマシだけど）。だから今のメインモデルはOrnith-1.5-35B-A3B-MLX-4bitにしてる。同じようなハードウェアなら試してみるのをおすすめするよ。前まで使ってたQwen3.6 35b-a3bより確実にいい。https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B