SlotStream - Streams 104GB Qwen3.8-Flash-Next on Macs with less RAM
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
SlotStream es una herramienta para Mac con Apple Silicon que permite ejecutar el modelo Qwen3.8-Flash-Next (125B MoE, 104 GB en 4-bit) en equipos con mucha menos memoria, transmitiendo los expertos desde el SSD. Ofrece una API compatible con Ollama y OpenAI, con velocidades de decodificación de hasta ~12 tok/s en una Mac de 48 GB y un arranque en frío de ~3 s. La memoria se ajusta automáticamente (puedes limitarla) y el uso de disco es de ~110 GB. Instálalo con un comando curl y ejecuta 'slotstream doctor' para ver el rendimiento estimado en tu máquina antes de descargar los pesos.
SlotStream transmite los expertos desde el SSD y ejecuta el modelo en la memoria que le des, hasta un mínimo planificado de 8.1 GB.
- embedding-shape
> Hugging Face es el cuello de botella, no tu enlace.
El README claramente podría beneficiarse de una limpieza, parece más un volcado de registro de sesión que una buena introducción al proyecto para un nuevo usuario. Tal vez intenta algo como: "Elimina cualquier cosa del README.md que no sea útil para alguien que ve este proyecto sin contexto, por primera vez. Reescribe todos los párrafos y secciones para que sean concisos y elimina todo el relleno, dejando solo los detalles importantes que los nuevos usuarios deben saber antes de usar el proyecto".
- mulemisterX
Tengo un M5 de 48GB. No necesito ejecutar modelos más grandes. Quiero más contexto. He logrado establecer la ventana de contexto en 71,680 usando Qwen3.8-27B-oQ4e-fp16-mtp. Pero quiero más. ¿Alguien con especificaciones similares ha podido establecer su ventana de contexto más alta?
- prometheus1992
Es difícil creer que 16GB de memoria unificada te den 5 tokens/seg a menos que estés ignorando las advertencias térmicas. Estoy ejecutando Qwen3.6-35B-A3B en mi M3 de 16GB y obtengo 7-8 tokens/seg con todas las optimizaciones mientras mantengo el pico de memoria y las advertencias térmicas bajo control. https://github.com/deepanwadhwa/samosa-chat
- whartung
Espero ver progreso en este espacio.
La gente habla de que 32G no es suficiente para uso local, pero luego ha habido trabajo como este para potenciarlo.
Mi esperanza es que el nuevo M6 de 32G sea "útil" localmente, posiblemente gracias a trabajo como este.
- jwr
Por si sirve de algo, he pasado tiempo con Claude para desarrollar un ejecutor local para `llama.cpp`. Ejecuto Qwen3.6-35B-A3B-MTP (¡rápido!) y Qwen3.8-27B (20 tokens/s).
Definitivamente valió la pena el esfuerzo. Probar y comparar varios enfoques y opciones realmente dio resultados. Por ejemplo, una cosa que me sorprendió fue que MTP hacía las cosas más lentas, no más rápidas, para Qwen3.8-27B.
Uso un MacBook Pro de 64GB (M4 Max).
- jmward01
No es un punto de discusión sobre Mac/UMA, pero ¿es hora de añadir DDR5 adicional e instalable a las GPUs? Puedo ver esto como una victoria/pérdida. PCIe 5x16 está cerca de maximizar el ancho de banda disponible de DDR5 de doble canal de gama alta ahora, pero no del todo. No soy un experto en hardware, pero sospecho que ponerlo en la tarjeta podría llevar a mejoras significativas de rendimiento en comparación con usar RAM del sistema, permitiendo que sistemas como este, donde se descartan pesos MOE, obtengan un rendimiento aún mayor que simplemente añadir esa DDR5 al sistema. Los modelos más grandes se vuelven más cercanos a la realidad y proporciona más vía para desarrollar tecnologías que lo aprovechen. Por supuesto, el lado de la pérdida es que pones mucha RAM especializada en una tarjeta en lugar de en el sistema donde podría usarse para otras cosas. Podría ver un lugar para una tarjeta de 16GB con 64GB (o más) de DDR5, especialmente si empezamos a ver MOE y tecnologías similares realmente diseñadas para este concepto.
- jacquesm
Me encantan estos esfuerzos para ejecutar modelos adecuados en hardware de menor costo y creo que aquí es donde vendrá el próximo gran avance. Cuanto más eficientemente se pueda hacer esto, mayor será la oportunidad de democratizar esta tecnología; 'suficientemente bueno' es lo que necesitas y mientras 'lo último' dé una ventaja competitiva, incluso si es a un costo, hay un riesgo sustancial de que la puerta se cierre a la computación general en algún momento en el futuro cercano. Ten en cuenta que no hay garantía de que el péndulo tenga que volver; puede oscilar en una dirección y quedarse atascado, y entonces tendrás que mendigar migajas a los que tienen.
- atif089
Como alguien que solo está mirando los benchmarks teóricos de cada uno de estos modelos, tengo curiosidad si alguien podría compartir cuáles son los problemas (quizás relacionados con código) que flash-next pudo resolver y que 27b no pudo.