SlotStream - Streams 104GB Qwen3.8-Flash-Next on Macs with less RAM

Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s

SlotStream es una herramienta para Mac con Apple Silicon que permite ejecutar el modelo Qwen3.8-Flash-Next (125B MoE, 104 GB en 4-bit) en equipos con mucha menos memoria, transmitiendo los expertos desde el SSD. Ofrece una API compatible con Ollama y OpenAI, con velocidades de decodificación de hasta ~12 tok/s en una Mac de 48 GB y un arranque en frío de ~3 s. La memoria se ajusta automáticamente (puedes limitarla) y el uso de disco es de ~110 GB. Instálalo con un comando curl y ejecuta 'slotstream doctor' para ver el rendimiento estimado en tu máquina antes de descargar los pesos.