SlotStream - Run 104GB LLM on Macs with less RAM
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
SlotStream позволяет запускать модель Qwen3.8-Flash-Next (125B MoE, 104 ГБ в 4-битном формате) на Mac с гораздо меньшим объемом оперативной памяти, стримя экспертов с SSD. Бинарный файл на Swift с API, совместимым с Ollama и OpenAI. На Mac с 48 ГБ достигает ~12 ток/с, холодный старт ~3 с, пиковая память 32 ГБ. Поддерживает Mac с Apple Silicon и macOS 14+. Установка одной командой, проверка подлинности через GitHub attestation.
Диск — это первое ограничение, которое кусается. Вам нужно ~110 ГБ свободного места, так что Mac на 512 ГБ — реалистичный минимум, независимо от объема памяти.