284B DeepSeek-V4-Flash запустили на 64 ГБ RAM без единого GPU
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
Проект llama-modchip сжимает 284B-модель DeepSeek-V4-Flash с 76,87 ГиБ до 56,56 ГиБ, позволяя ей работать на чистом CPU с 64 ГБ памяти при контексте 256K. Скорость префилла достигает 44,4 ток/с, декодирование — 9–14,7 ток/с. Для 30B MoE на 16-ядерном Zen 5 скорость составляет 25–60 ток/с, а на Threadripper — до 111 ток/с. Также реализовано восстановление сессии Claude Code за 13 мс.
284,33B параметров фронтирной MoE-модели умещаются в 57,61 ГиБ оперативной памяти при полном контексте 256K — и всё это без единого GPU.
- kennywinker
Планка для работоспособной локальной ИИ-системы продолжает снижаться, несмотря на то, что цены на RAM и GPU продолжают расти. Рабочая станция на E5 с кучей потоков, RAM за $300 и GPU хотя бы за $100 даёт вам что-то, что может выдавать >100 tok/s + обработку промпта, и ~20 tok/s на выходе с Qwen3.8-flash-next:IQ3_S. Вставьте туда GPU за $500, и это превращается из еле пригодного в приятно производительное. Меньше чем за $800 у вас есть что-то, что держится на уровне того, где был SOTA меньше года назад.
Не понимаю, как кто-то оправдывает подписку на claude. Вы хотите арендовать инструменты, которыми зарабатываете себе на жизнь, у людей, которые пытаются автоматизировать вашу работу?
- aappleby
Глупый вопрос, но этот сгенерированный ИИ репозиторий вообще _что-то делает_?
Сравнил его на Nemotron — работает примерно так же, как обычный старый llama.cpp на CPU (разве что prefill, похоже, намного быстрее). Я не вижу опции настроить DeepSeek в «modchip setup», так что этот пока не тестировал.
Edit: это на Ryzen 7945hx 16-ядерный Zen 4 + 96 гб DDR5.
- armcat
Что стоит иметь в виду при агрессивном квантовании — эмпирически доказано [1], что (1) у квантования нелинейное поведение производительности, и (2) в целом пик соотношения размера к производительности достигается на 4 битах; всё, что ниже, даёт значительное падение производительности.
Кроме того, я последние 2 года играюсь с речевыми моделями, и для меня всё ниже 8 бит — это огромное падение качества; так что квантование для LLM и для других специализированных модальных моделей — это не 1:1.
[1] «Reliability Scaling Laws for Quantized Large Language Models», TUM, https://arxiv.org/pdf/2607.10855
- sparse-Matrix
Работает довольно неплохо на моём Ryzen 7 5700U/64GB DDR4
Стабильные 12–14 TPS.
Не то чтобы молниеносно, но достаточно быстро, чтобы делать осмысленную личную работу, при энергопотреблении 15 Вт.
- antirez
Чтобы это осмыслить, учтите, что со 128 ГБ объединённой RAM он может работать даже быстро: https://x.com/antirez/status/2119392658661749175
То есть кодинг-агент работает приемлемо быстро. Дальше в ответе смотрите про prefill на ~300 t/s, но для больших prefill может быть ещё быстрее.
- boredatoms
Квантование — вероятно, самое важное, что нужно знать, и из этого плотного словесного салата это совершенно не ясно
- akie
При каком квантовании? Это единственное, что я хочу знать.
EDIT: Кажется, это 2 бита? Если так, было бы любопытно посмотреть на качество вывода. Не очень хорошее, думаю.
- SillyUsername
Интересно. Есть довольно много форков llama.cpp, где стриминг весов оказался успешным, или специальные кванты / распаковка перед обработкой.
- Bonsai Qwen 3.8 27B
- Strata
- Pulsar
- Это...
Хотел бы я, чтобы upstream Llama.cpp принимал PR быстрее — они собирают несколько раз в день, но их очередь PR была 1.7K, когда я последний раз проверял, а это до смешного непрактичное число для ревью силами нескольких волонтёров.
Я наблюдал за фичей Qwen 3.8 Bonsai, и с момента создания до ревью прошло больше 3 недель, и даже тогда она не включает патчи для багов, которые они исправили в downstream и просто сдались с попытками протолкнуть в upstream, потому что процесс был настолько трудоёмким.
В итоге они получают задержанную или отсутствующую поддержку моделей, и наполовину работающие реализации вроде Hadamard Folding от Bonsai, а новые модели теряют такую оптимизацию.
Полагаю, это нормально, если вы хотите, чтобы ваш проект был эталонным для форков и поощрял такую специализацию, но не думаю, что это было задумано.
По крайней мере, я могу использовать llamaswap, чтобы жонглировать движками инференса и моделями на лету, и абстрагироваться от того, что мне нужно ставить 3 или 4 разных.