Mi configuración de modelos locales en un Mac mini M4 Pro
My local model setup on an M4 Pro Mac Mini
Un desarrollador explica cómo monta un servidor local de LLM en su Mac mini M4 Pro con 48 GB de RAM, usando oMLX como servidor de inferencia y Tailscale para conectar sus dispositivos. Detalla su selección de modelos (Qwen3.6-35B-A3B-OptiQ-4bit y Gemma-4-E4B-it-OptiQ-4bit), las ventajas de los modelos MoE frente a los densos en hardware de consumo, y cómo gestiona agentes, chats rápidos y codificación sin depender de APIs en la nube.
Las APIs en la nube son tierra alquilada: pueden cambiar sus precios, limitar tu uso o cambiar el modelo que te sirven cuando les plazca.
- bambax
Bonita configuración; pero, para tareas o preguntas simples, ¿la IA no es actualmente gratis? ¿Y probablemente seguirá siendo gratis, ya que no veo a Google empezando a cobrar por usar IA en su buscador? Así que los costes no pueden ser una motivación para ejecutar modelos pequeños localmente.
Para tareas más complejas o importantes, los costes, la autonomía y la privacidad importan, pero entonces también importan el rendimiento y la calidad.
Así que no estoy completamente convencido de que realmente valga la pena; ¡pero es tentador!
- amanzi
¿No se menciona el rendimiento de los modelos? Puedo cargar un montón de modelos diferentes en mi pequeño mini-PC con 16GB de RAM, pero el rendimiento es terrible. Siempre me pregunto qué rendimiento obtiene la gente con modelos locales que consideran aceptable.
- c16
> Ejecutar un modelo grande localmente se reduce a una cosa: cuánta RAM necesita realmente en memoria.
No es del todo cierto. Es memoria Y ancho de banda de memoria. Puedes tener 1 TB de memoria pero si tienes un ancho de banda de memoria horrible, también tendrás una velocidad de tokens lenta. A3B ayuda con esto, pero también lo hace MTP.
Por mi experiencia, te iría mejor ejecutando el denso 27b-mlx con MTP que la versión 3.6 con A3B. Dices que tu modelo ocupa ~20GB de RAM, pero el 3.8:27b-mlx ocupa 18GB y me da una velocidad de tokens muy razonable, y mayor velocidad si desactivas el pensamiento cuando no es necesario.
- akg_67
Datos de rendimiento recientes en mi MacBook M1 Max de 32GB usando oMLX. He estado trabajando en identificar el modelo y la configuración adecuados para mi caso de uso y sistema. Usando un prompt de refactorización y sugerencia de mejoras para un bloque de código Django específico con la extensión Cline de VSCode.
---
Qwen3.8-27B-4bit, Procesamiento de Prompt (PP) 66.3 tok/s, Generación de Tokens (TG) 11.8 tok/s
Ornith-1.5-35B-A3B-MLX-4bit, PP 379.7, TG 45.8
Ornith-1.5-35B-A3B-MLX-4bit, PP 381.5, TG 46.4
Qwen3.6-35B-A3B-mxfp4, PP 389.6, TG 47.6
Qwen3.6-35B-A3B-OptiQ-4bit, PP 342.6, TG 44.4
---
Qwen3.8-27B-4bit generalmente se queda sin tokens de salida antes de completar la tarea, aunque con excelentes resultados parciales.
Ornith-1.5-35B-A3B-MLX-4bit parece entrar en bucle a menudo, especialmente con llamadas a herramientas.
Qwen3.6-35B-A3B-mxfp4 parece ser óptimo en velocidad y calidad de salida.
Voy a probar pronto Qwen3.6-35B-A3B-4bit con el mismo bloque de código solo para comprobar mi intuición de que los derivados no parecen rendir mejor que los originales.
- stub_out
Vaya, un M4 Pro. Mi viejo M1 está empezando a mostrar su edad intentando ejecutar cualquier cosa más grande que 7B.
- thrw93747572007
Hay bastante de "lo local no funciona" aquí - desafortunadamente, a menudo sin muchos detalles sobre para qué quiere realmente la gente usar sus modelos. Lo cual me daría curiosidad.
Personalmente, sí uso modelos frontera en la nube para muchos análisis (meta)cognitivos que son lo bastante pesados como para que me tope con los límites de las cuentas de pago regularmente - así que no soy ni un ludita ni tacaño con el dinero en este caso.
Sin embargo: también tengo bastante buenas experiencias con modelos locales. Mi sobremesa sólida pero no extrema (con una RX 9070 XT de 16GB) sirve principalmente gemma4:12b y modelos especializados (embedding) a mi red local. Esto es para uso general como consultas simples, código simple, reformateo y similares, pero también para dos tareas específicas que están funcionando permanentemente:
a) Está conectado a Home Assistant (como segunda etapa después de comandos muy simples tipo "enciende la luz XY" que se procesan sin LLM). Así que puedo murmurar a mi smartwatch "ordenador, ¿cuánto gas tenemos en el núcleo warp y cuánta energía han producido los colectores Bussard a partir del polvo cósmico hoy?" (o describir una escena de luz más compleja o crear una automatización que quiera o lo que sea).
El teléfono transcribe eso - con un modelo local en el dispositivo - y lo envía al sobremesa que tiene acceso agéntico a HA, revisa los sensores y datos, ve que he etiquetado mis paneles solares y batería con vocabulario friki. Hace la conclusión correcta, convierte unas unidades y me devuelve un bonito resumen. Todo sin usar las manos mientras estoy s […]
- amelius
> La razón principal para ejecutar local: las APIs en la nube son tierra alquilada. Pueden cambiar sus precios, alcanzar tus límites de uso, o cambiar el modelo que se sirve entre bastidores cuando les plazca.
Sí, pero es fácil reemplazarlas.
La razón principal debería ser la privacidad.
- jumploops
Mi mayor problema con ejecutar LLMs locales en mi M4 Max/128GB RAM es la latencia de prefill.
Desde entonces he adquirido dos DGX Sparks, y se siente mucho más ágil.