Slotstream - Run 104GB Qwen3.8-Flash-Next on Macs with less RAM via SSD streaming
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
Slotstream은 104GB에 달하는 Qwen3.8-Flash-Next 모델을 Mac에서 실행할 수 있게 해주는 도구입니다. SSD에서 전문가(expert)를 스트리밍하여 RAM 사용량을 크게 줄이며, 48GB Mac에서 약 12 tok/s의 속도로 실행됩니다. MLX와 Swift로 구축되었으며 Ollama 및 OpenAI 호환 API를 제공합니다. 설치가 간편하고, 메모리 사용량을 자동으로 조정하며, 8.1GB까지 낮출 수 있습니다. 디스크 공간만 충분하다면 16GB RAM의 Mac에서도 실행 가능합니다.
Slotstream은 104GB 모델을 Mac의 메모리 제한에서 해방시켜, SSD 스트리밍으로 누구나 고성능 AI를 경험할 수 있게 합니다.