M4 Pro Mac miniでローカルLLM環境を構築：48GB RAMで何ができるか
My local model setup on an M4 Pro Mac Mini
M4 Pro Mac mini（48GB RAM）でローカルLLMサーバーを運用する方法を紹介。Qwen3.6-35B-A3B-OptiQ-4bitとGemma-4-E4B-it-OptiQ-4bitをoMLXで実行し、Hermesエージェントやチャット用途に活用。クラウドAPIの不安定性やプライバシー問題を回避し、コスト予測可能性、低レイテンシ、オフライン動作、レート制限なしといった利点を解説。MoEモデルのメモリ要件の見極め方や、モデル交換の容易さ、Tailscaleによるネットワーク構成も詳述。
クラウドAPIは借りている土地のようなものだ。彼らはいつでも価格を変更し、利用制限をかけ、裏で提供モデルをすり替えることができる。
HNでの議論
178- bambax
素晴らしいセットアップですね。でも、簡単なタスクや質問には、AIは今のところ無料ですよね？そして、おそらく今後も無料のままでしょう。Googleが検索エンジンでAIの利用に課金し始めるとは思えませんし。だから、コストはローカルで小さなモデルを動かす動機にはならないのでは？
より複雑で重要なタスクには、コスト、自律性、プライバシーが重要ですが、その場合、パフォーマンスや品質も重要です。
だから、本当に価値があるのか完全には納得できませんが、魅力的ではありますね！
- amanzi
モデルのパフォーマンスについては触れられていませんね？私は16GB RAMの小さなミニPCにいろいろなモデルをロードできますが、パフォーマンスはひどいものです。ローカルモデルでどの程度のパフォーマンスが許容できるのか、いつも疑問に思っています。
- c16
> 大規模なモデルをローカルで実行することは、結局のところ、RAMにどれだけのメモリが必要かという一点に尽きます。
完全に正しいとは言えません。メモリとメモリ帯域幅の両方が重要です。1TBのメモリがあっても、メモリ帯域幅が悪ければ、トークン/秒も遅くなります。A3Bはこれを改善しますが、MTPも同様です。
私の経験から言うと、A3Bを使用した3.6バージョンよりも、MTPを使用した高密度の27b-mlxを実行する方が良いでしょう。あなたのモデルは約20GBのRAMと言いますが、3.8:27b-mlxは18GBで、非常に妥当なトークン/秒が得られ、思考が不要な場合は思考を無効にすることでさらに高速になります。
- akg_67
私のM1 Max 32GB MacBookでの最近のパフォーマンスデータをoMLXで紹介します。自分のユースケースとシステムに適したモデルと設定を見つけるために取り組んでいます。VSCode Cline拡張機能を使用して、特定のDjangoコードブロックに対してリファクタリングと改善提案のプロンプトを使用しています。
---
Qwen3.8-27B-4bit、プロンプト処理（PP）66.3トークン/秒、トークン生成（TG）11.8トークン/秒
Ornith-1.5-35B-A3B-MLX-4bit、PP 379.7、TG 45.8
Ornith-1.5-35B-A3B-MLX-4bit、PP 381.5、TG 46.4
Qwen3.6-35B-A3B-mxfp4、PP 389.6、TG 47.6
Qwen3.6-35B-A3B-OptiQ-4bit、PP 342.6、TG 44.4
---
Qwen3.8-27B-4bitは、部分的な結果は優れているものの、タスクを完了する前に出力トークンが尽きることがよくあります。
Ornith-1.5-35B-A3B-MLX-4bitは、特にツール呼び出しでループに陥ることが多いようです。
Qwen3.6-35B-A3B-mxfp4は、速度と出力品質のバランスが最適のようです。
次に、同じコードブロックでQwen3.6-35B-A3B-4bitをテストして、派生物がオリジナルより優れているようには見えないという私の直感を確認しようと思っています。
- stub_out
ああ、M4 Proか。私の古いM1は、7Bより大きいものを実行しようとすると、もうかなり時代遅れになってきています。
- thrw93747572007
ここには「ローカルではうまくいかない」という意見がかなりありますが、残念ながら、人々が自分のモデルを実際に何に使いたいのかについての詳細が不足していることがよくあります。それが気になります。
私自身は、フロンティアモデルをクラウドで多くの（メタ）認知的分析に使用していますが、それはかなり重く、有料アカウントの制限に頻繁に達するほどです。だから、私はルッダイトでもなければ、この件でケチでもありません。
しかし、ローカルモデルでもかなり良い経験をしています。私の堅実だが過激ではないデスクトップ（RX 9070 XT 16GBを1枚搭載）は、主にgemma4:12bと専門モデル（埋め込み）をローカルネットワークに提供しています。これは、簡単なクエリ、簡単なコード、再フォーマットなどの一般的な用途に使われますが、常時稼働している2つの特定のタスクにも使われています。
a) Home Assistantに接続されています（LLMなしで処理される「ライトXYをオンにして」のような非常に単純なコマンドの後の第2段階として）。だから、スマートウォッチに向かって「コンピューター、ワープコアにはどのくらいのガスが残っていて、バッサードコレクターは今日の宇宙塵からどれだけのエネルギーを作り出した？」とつぶやくことができます（または、より複雑な照明シーンを説明したり、私が望む自動化を作成したりすることもできます）。
電話がそれをローカルモデルで文字起こしし、デスクトップに送信します。デスクトップはHAへのエージェントアクセスを持ち、センサーとデータを調べ、私がソーラーパネルとバッテリーにオタク用語でタグを付けていることを確認します。正しい結論を導き出し、いくつかの単位を変換して、素敵な概要を返してくれます。すべてハンズフリーで、私が…している間も
- amelius
> ローカルで実行する主な理由：クラウドAPIは借りている土地です。彼らは価格を変更したり、使用制限に達したり、舞台裏で提供されるモデルをいつでも交換したりできます。
確かに、しかしそれらは簡単に置き換えられます。
主な理由はプライバシーであるべきです。
- jumploops
M4 Max/128GB RAMでローカルLLMを実行する際の私の最大の問題は、プリフィルのレイテンシーです。
その後、DGX Sparkを2台購入しましたが、はるかにキビキビと感じます。