M4 Pro Mac miniでローカルLLM環境を構築：48GB RAMで何ができるか
My local model setup on an M4 Pro Mac Mini
M4 Pro Mac mini（48GB RAM）でローカルLLMサーバーを運用する方法を紹介。Qwen3.6-35B-A3B-OptiQ-4bitとGemma-4-E4B-it-OptiQ-4bitをoMLXで実行し、Hermesエージェントやチャット用途に活用。クラウドAPIの不安定性やプライバシー問題を回避し、コスト予測可能性、低レイテンシ、オフライン動作、レート制限なしといった利点を解説。MoEモデルのメモリ要件の見極め方や、モデル交換の容易さ、Tailscaleによるネットワーク構成も詳述。
クラウドAPIは借りている土地のようなものだ。彼らはいつでも価格を変更し、利用制限をかけ、裏で提供モデルをすり替えることができる。