DeepSeek выпустила V4.1-Flash: 552B параметров при 8B активных
DeepSeek v4.1 Flash
DeepSeek представила V4.1-Flash — самую компактную модель в новой архитектурной линейке с нативным визуальным пониманием. Это MoE на 552B параметров с асимметричной архитектурой Causal Encoder–Decoder: всего 8B активных параметров на входе и 16B на выходе. KV-кэш требует в 4 раза меньше HBM и в 8 раз меньше SSD по сравнению с предыдущим поколением. Модель уже доступна в DeepSeek API под именем deepseek-flash, а старые V4-Flash и V4-Flash-Vision-Exp временно перенаправляются на неё. Цены снижены, в непиковые часы — скидка 50%.
Cache-hit charges often account for a large share of agent costs. Compressing the cache cuts those costs significantly.
- kouteiheika
Так освежает видеть технический отчёт DeepSeek[1], полный сочных деталей; в то же время что-то вроде системной карты Fable[2] — это примерно 70% «безопасность», 10% «благополучие модели», чтобы убедиться, что маленький Claude не страдает, и 20% цифр бенчмарков.
[1]: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/...
[2]: https://www.anthropic.com/claude-fable-5-1-mythos-5-1-system...
- rao-v
Как я уже говорил в Twitter — меня реально поражает, насколько Deepseek бесстрашны. Каждый выпуск модели набит новыми и безумно умными идеями, и каким-то образом они всегда решаются обучать их в масштабе, близком к передовому.
Я знаю, что все хотят услышать историю о умных идеях, разработанных за последние ~3 года в Anthropic и OpenAI, но что я действительно хотел бы пролистать — это блокнот DeepSeek с идеями «гениальными, но не прошедшими отбор».
Они, должно быть, пробуют по-настоящему сумасшедшие вещи, чтобы умудряться впихивать столько архитектурной новизны в свои полные релизы.
- revolvingthrow
Уже на HuggingFace: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
Плохая новость в том, что оригинальный v4 flash был 284B, что было много, но всё ещё относительно разумно для локального запуска. Этот же — 552B, то есть почти вдвое больше, так что огромный рост в результатах бенчмарков имеет смысл — это уже не совсем flash, по-моему.
Я понятия не имею о реальной производительности против benchmaxxing, хотя deepseek был довольно надёжен, насколько можно судить о китайских моделях. Если это сохранится (и если он не будет думать вечно, как иногда делал deepseek 4), то он, вероятно, новый король горы среди моделей с открытыми весами.
Он включает зрение, и они делают что-то хитрое с KV-кэшем, так что он очень эффективен: «[...] эти решения сокращают глобальный след KV-кэша до 890 байт на токен — примерно 1/4 от DeepSeek-V4-Flash». Я ценю высокую ориентацию на эффективность, но на данный момент нам бы очень пригодилась версия flash-flash.
@edit: Я не смог понять, каково фактическое количество параметров с добавлением памяти Engram. Насколько я понимаю, 4.1 flash — это 552B параметров, которые вы хотите иметь в vram или ram, из которых ~16B активны (8B для prefill). Он также включает дополнительные 196B памяти Engram, которую можно разместить на SSD. Я думаю.
Если это верно, 256 ГБ памяти недостаточно даже для загрузки модели в q4 — вам не хватит 1 ГБ, если предположить, что вы можете заполнить её на 100% (так что никакого Mac). Вам также, конечно, понадобится немного для kv-кэша. Настольный компьютер с 256 ГБ и дополнительной VRAM от GPU мог бы его запустить, но обычные потребительские платы […]
- k9294
Меня удивляет, что больше людей не говорят о цене попадания в кэш: $0.003 за миллион токенов. У меня такое чувство, что цена за 1 миллион токенов, переданных по интернету, дороже, чем попадание в кэш. Мы близки к тому, чтобы сделать API чат-завершений устаревшим, потому что стоимость передачи контекста по сети будет доминировать в общей стоимости задачи?
Вот тот же расход токенов, оценённый по разным тарифам: реальная долгосрочная задача по программированию, средняя кодовая база, 447 ходов.
Input 1,026,957
Output 164,667
Cache read 36,554,368
GPT-6-astra
Type Rate Cost Share
Input 10.000 10.270 19%
Output 50.000 8.233 15%
Cache 1.000 36.554 66%
Total 55.057 100%
DeepSeek v4.1 Flash, $0.003 cache hit
Type Rate Cost Share
Input 0.300 0.308 50%
Output 1.200 0.198 32%
Cache 0.003 0.110 18%
Total 0.615 100%
DeepSeek v4.1 Flash, $0.006 cache hit
Type Rate Cost Share
Input 0.300 0.308 42%
Output 1.200 0.198 27%
Cache 0.006 0.219 30%
Total 0.725 100%
Гипотетически: те же тарифы input/output DeepSeek, но кэш оценён так, что составляет 66% счёта.
Type Rate Cost Share
Input 0.300 0.308 21%
Output 1.200 0.198 13%
Cache 0.027 0.982 66%
Total 1.487 100%
Это улучшение кэша делает модель в x2-x2.5 раз эффективнее на долгосрочных задачах […]
- impulser_
Я думаю, совершенно очевидно, что DeepSeek — лучшая лаборатория ИИ в мире.
Каждый выпуск модели, кажется, набит прекрасными исследованиями и достижениями.
- LaurensBER
Первые впечатления: это действительно сильная модель, и тот факт, что они одновременно снизили цены, делает её отличной запасной моделью, когда ваша основная подписка заканчивается и нужно протянуть несколько дней до сброса.
Также кажется, что она более охотно просто делает то, о чём её просят. Мой любимый бенчмарк для этого — попросить её скачать ром для старой игры, которой я владею. Легально в моей юрисдикции, но американские модели (кроме Grok) имеют склонность отказываться.
- mentalgear
https://xcancel.com/deepseek_ai/status/2097930608790167907
Должна быть ссылка (теперь, когда она снова работает! :) )
- cdnsteve
Абсолютно безумная производительность и результаты бенчмарков. Она обходит Opus 5 и Sol 5.6 https://tokenstead.ai/models/deepseek-v4-1-flash
- swiftcoder
OpenCode Go сейчас проводит акцию 4x использования на DeepSeek v4.1 flash — неплохой способ попробовать (даже если их цены на попадание в кэш, вероятно, всё ещё далеки от оптимальных)
- eile23
Кто-нибудь уже пробовал это для программирования? Мне интересно, как оно сравнивается с моделями Claude или GPT на больших кодовых базах, особенно для отладки и внесения изменений в несколько файлов.