Mi configuración de modelos locales en un Mac mini M4 Pro
My local model setup on an M4 Pro Mac Mini
Un desarrollador explica cómo monta un servidor local de LLM en su Mac mini M4 Pro con 48 GB de RAM, usando oMLX como servidor de inferencia y Tailscale para conectar sus dispositivos. Detalla su selección de modelos (Qwen3.6-35B-A3B-OptiQ-4bit y Gemma-4-E4B-it-OptiQ-4bit), las ventajas de los modelos MoE frente a los densos en hardware de consumo, y cómo gestiona agentes, chats rápidos y codificación sin depender de APIs en la nube.
Las APIs en la nube son tierra alquilada: pueden cambiar sus precios, limitar tu uso o cambiar el modelo que te sirven cuando les plazca.