SlotStream - Run 104GB LLM on Macs with less RAM
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
SlotStream позволяет запускать модель Qwen3.8-Flash-Next (125B MoE, 104 ГБ в 4-битном формате) на Mac с гораздо меньшим объемом оперативной памяти, стримя экспертов с SSD. Бинарный файл на Swift с API, совместимым с Ollama и OpenAI. На Mac с 48 ГБ достигает ~12 ток/с, холодный старт ~3 с, пиковая память 32 ГБ. Поддерживает Mac с Apple Silicon и macOS 14+. Установка одной командой, проверка подлинности через GitHub attestation.
Диск — это первое ограничение, которое кусается. Вам нужно ~110 ГБ свободного места, так что Mac на 512 ГБ — реалистичный минимум, независимо от объема памяти.
- embedding-shape
> Hugging Face является узким местом, а не ваша ссылка.
README явно можно было бы почистить, сейчас он больше похож на дамп журнала сеанса, чем на хорошее введение в проект для нового пользователя. Может, попробовать что-то вроде "Удалите из README.md все, что не было бы полезно человеку, который видит этот проект без какого-либо контекста, впервые. Перепишите все абзацы и разделы, чтобы они были краткими, и уберите всю воду, оставив только важные детали, которые новые пользователи должны знать перед использованием проекта".
- mulemisterX
У меня 48GB M5. Мне не нужно запускать модели большего размера. Я хочу больше контекста. Мне удалось установить окно контекста на 71,680, используя Qwen3.8-27B-oQ4e-fp16-mtp. Но я хочу больше. Есть ли кто-нибудь с похожими характеристиками, кто смог установить окно контекста выше?
- prometheus1992
Трудно поверить, что 16GB унифицированной памяти дадут вам 5 ток/с, если только вы не игнорируете тепловые предупреждения. Я запускаю Qwen3.6-35B-A3B на своем 16GB M3 и получаю 7-8 токенов/с со всеми оптимизациями, при этом пиковая память и тепловые предупреждения под контролем. https://github.com/deepanwadhwa/samosa-chat
- whartung
Я надеюсь увидеть прогресс в этой области.
Люди говорят о том, что 32G недостаточно для локального использования, но затем появляются такие работы, которые расширяют его возможности.
Моя надежда в том, что новый 32G M6 будет "полезен" локально, возможно, благодаря таким работам.
- jwr
Насколько это важно, я потратил некоторое время с Claude, чтобы разработать локальный раннер для `llama.cpp`. Я запускаю Qwen3.6-35B-A3B-MTP (быстро!) и Qwen3.8-27B (20 токенов/с).
Это определенно стоило усилий. Бенчмаркинг и тестирование различных подходов и различных опций действительно окупились. Например, одна вещь, которая меня удивила, это то, что MTP замедлял работу, а не ускорял, для Qwen3.8-27B.
Я использую 64GB MacBook Pro (M4 Max).
- jmward01
Не вопрос Mac/UMA, но не пора ли добавить дополнительную, устанавливаемую DDR5 к GPU? Я вижу это как выигрыш/проигрыш. PCIe 5x16 почти достигает максимальной пропускной способности, доступной от высококлассной двухканальной DDR5, но не совсем. Я не аппаратчик, но подозреваю, что размещение её на карте может привести к значительному улучшению производительности по сравнению с использованием системной памяти, так что системы, подобные этой, где веса MOE сбрасываются, могут получить еще более высокую производительность, чем просто добавление этой DDR5 в систему. Более крупные модели становятся ближе к реальности, и это обеспечивает больше путей для разработки технологий, которые используют это преимущество. Конечно, проигрышная сторона в том, что вы просто помещаете много специализированной памяти на карту, а не в систему, где она могла бы использоваться для других целей. Я вижу место для карты на 16GB с 64GB (или более) DDR5, особенно если мы начнем видеть, что MOE и подобные технологии действительно проектируются под эту концепцию.
- jacquesm
Мне нравятся эти усилия по запуску приличных моделей на более дешевом оборудовании, и я думаю, что именно здесь произойдет следующий настоящий прорыв. Чем эффективнее можно делать такие вещи, тем больше шансов демократизировать эту технологию; 'достаточно хорошо' — это то, что нужно, и пока 'самое лучшее' дает конкурентное преимущество, даже если это стоит дорого, существует значительный риск того, что дверь для массовых вычислений закроется в ближайшем будущем. Имейте в виду, что нет гарантии, что маятник качнется обратно; он может качнуться в одну сторону и застрять, и тогда вам придется выпрашивать крохи у имущих.
- atif089
Как человек, который просто смотрит на теоретические бенчмарки каждой из этих моделей, мне любопытно, не мог бы кто-нибудь поделиться, какие проблемы (возможно, связанные с кодом) flash-next смог решить, а 27b не смог?