M4 Pro Mac mini: локальные LLM вместо облачных API — мой стек и настройка
My local model setup on an M4 Pro Mac Mini
Автор делится опытом запуска локального LLM-сервера на M4 Pro Mac mini с 48 ГБ RAM. Он объясняет, почему предпочитает локальные модели облачным API: непредсказуемость цен, лимиты, проблемы с конфиденциальностью и «суверенитет ИИ». В статье разбирается стек: Qwen3.6-35B-A3B-OptiQ-4bit и Gemma-4-E4B-it-OptiQ-4bit под управлением oMLX, доступ через Tailscale. Также даются практические советы по выбору моделей с учётом RAM и объясняется разница между dense и MoE моделями.
Облачные API — это арендованная земля: они могут менять цены, урезать лимиты или незаметно подменять модель, когда им вздумается.