slotstream - Stream 104GB LLM on Macs with less RAM
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
slotstream は、104GB の大規模言語モデル Qwen3.8-Flash-Next を、SSD からエキスパートをストリーミングすることで、少ないメモリの Mac でも実行できるようにするツールです。48GB Mac では約 12 tok/s の高速デコードを実現し、メモリ使用量は自動調整（最小 8.1GB まで）。Ollama や OpenAI 互換の API を提供し、既存のクライアントから簡単に利用できます。インストールは curl コマンド一つで完了し、署名付きのバイナリで安全性も確保。メモリが少ない Mac でも大規模モデルを活用したい開発者に最適です。
スロットストリームは、モデルの全重みをメモリに載せずに、必要なエキスパートだけを SSD からストリーミングすることで、104GB のモデルを 8.1GB のメモリまで縮小して実行できます。
HNでの議論
106- embedding-shape
> Hugging Face がボトルネックであって、あなたのリンクが問題なわけではない。
README は明らかにクリーンアップが必要だ。今のところ、新規ユーザーへの良い紹介というより、セッションログのダンプのような感じだ。例えば「README.md から、このプロジェクトをまったく文脈なしで初めて見る人に役立たないものはすべて削除してください。すべての段落とセクションを簡潔に書き直し、余計なものをすべて取り除き、プロジェクトを使う前に新規ユーザーが知っておくべき重要な詳細だけを残してください」のようなことを試してみてはどうか。
- mulemisterX
私は48GBのM5を持っています。より大きなモデルを実行する必要はありません。もっとコンテキストが欲しいです。Qwen3.8-27B-oQ4e-fp16-mtpを使って、コンテキストウィンドウを71,680に設定できました。しかし、もっと欲しいです。同じようなスペックの方で、コンテキストウィンドウをより高く設定できた方はいますか？
- prometheus1992
16GBのユニファイドメモリで5トークン/秒が出るとは信じがたいです。サーマルワーニングを無視していなければの話ですが。私は16GBのM3でQwen3.6-35B-A3Bを実行していて、すべての最適化を行い、ピークメモリとサーマルワーニングを抑えながら、7〜8トークン/秒を出しています。https://github.com/deepanwadhwa/samosa-chat
- whartung
この分野の進歩に期待しています。
32GBではローカル利用に十分ではないと話す人もいますが、それを強化するこのような取り組みもあります。
私の希望は、新しい32GBのM6が、このような取り組みのおかげで、ローカルで「使える」ものになることです。
- jwr
参考までに、私はClaudeと一緒に時間をかけて`llama.cpp`用のローカルランナーを開発しました。Qwen3.6-35B-A3B-MTP（高速！）とQwen3.8-27B（20トークン/秒）を実行しています。
これは間違いなく努力する価値がありました。さまざまなアプローチやオプションをベンチマークしてテストすることは、本当に報われました。例えば、驚いたことの一つは、Qwen3.8-27BではMTPが高速化ではなく低速化を引き起こしたことです。
私は64GBのMacBook Pro（M4 Max）を使用しています。
- jmward01
MacやUMAの議論ではありませんが、GPUに追加でインストール可能なDDR5を搭載する時期ではないでしょうか。これは勝ち負けがあると思います。PCIe 5x16は、現在のハイエンドのデュアルチャネルDDR5で利用可能な帯域幅にほぼ達していますが、完全には達していません。私はハードウェアの専門家ではありませんが、カードに搭載することで、システムRAMを使用するよりも大幅なパフォーマンス向上が得られる可能性があると思います。これにより、MOEの重みが削減されるようなシステムで、システムにDDR5を追加するだけの場合よりもさらに高いパフォーマンスが得られるでしょう。より大きなモデルが現実に近づき、それを活用する技術を開発するための道筋が増えます。もちろん、負けの面は、多くの特殊なRAMをカードに搭載する代わりに、他の用途に使えるシステムに搭載しないことです。16GBのカードに64GB（以上）のDDR5を搭載する場所が見えるでしょう。特に、MOEや類似の技術がこのコンセプトのために実際に設計され始めたらなおさらです。
- jacquesm
低コストのハードウェアで適切なモデルを実行するためのこれらの努力が大好きです。そして、これが次の本当のブレークスルーが来る場所だと思います。この種のことをより効率的に行えるほど、この技術を民主化するチャンスが大きくなります。「十分良い」ものが必要なのです。そして、「最高級」がたとえコストがかかっても競争上の優位性を与える限り、近い将来、一般的なコンピューティングの扉が閉ざされる重大なリスクがあります。振り子が必ずしも戻るとは限らないことを心に留めておいてください。一方向に振れて、そのまま動かなくなる可能性があり、その場合、持っている人々からパンくずを請わなければならなくなるでしょう。
- atif089
各モデルの理論上のベンチマークだけを見ている者として、flash-nextが27bでは解決できなかった問題（おそらくコード関連）を解決できた例を共有してくれる人はいますか？