DeepSeek выпустила обновление Flash, которое обгоняет GPT-5.6 Sol в агентных задачах
DeepSeek-v4.1-Flash-1017
DeepSeek-V4.1-Flash-1017 — небольшое обновление модели DeepSeek-V4.1-Flash, но прирост заметный: в Terminal-Bench 4.0 результат вырос с 31,2 до 42,3, в Apex Bench — с 64,6 до 72,1, в Agents' Last Exam модель обходит GPT-5.6 Sol и Opus 5. Одновременно сократились время выполнения задач и длина ответов, что снижает стоимость. Веса открыты под лицензией MIT, контекстное окно — 1M токенов.
Модель сокращает время выполнения задач и длину вывода, позволяя пользователям завершать задачи быстрее и дешевле и продвигая границу Парето между производительностью и стоимостью в различных агентных обвязках.
- OsrsNeedsf2P
DS не лучше Sol и Gemini в бенчмарках, но после того, как я поработал со всеми ними какое-то время, я начинаю понимать, почему людям DS _кажется_ настолько лучше.
Во-первых, это tok/s и TTFT у провайдеров. Deepseek молниеносно выполняет работу — при довольно хорошем качестве — и ты не обнаруживаешь себя ждущим, когда твои агенты закончат.
Во-вторых, это открытость. Возможность видеть CoT и не быть случайно заблокированным из-за проверки на кибербезопасность. Ты никогда не гадаешь, застрял ли он или случайно упадёт. В сочетании с отличным соотношением цены и качества... Моя следующая подписка, вероятно, будет Z.ai
- gregwebs
Собственная новостная страница компании: https://api-docs.deepseek.com/news/news261017
Они показывают, что эта новая версия набирает значительно больше баллов по множеству бенчмарков для кодинга, обходя Sol 5.6 (6.1 — последняя) в 10 из 11 бенчмарков.
Я возвращаюсь к DeepSeek для написания кода. Я пробовал использовать Sol и мне нравился результат, но это должно закрыть большую часть этого разрыва. Я использую Opus/Sol для плана реализации и ревью кода, а также использую их для допроса. DeepSeek также выполняет проверки.
- a11r
Негативный датапоинт — Мы оценивали предыдущие модели Deepseek Flash (как оригинальную 4.1 flash, так и меньшую 4.0 flash), и они были склонны к излишним размышлениям. Наша нагрузка — это хорошо определённые, но умеренно сложные задачи по кодингу, и среди моделей с открытыми весами GLM5.3 flash показывает лучшие результаты, а Qwen3.8 flash — близкое второе место. DeepSeek 4.1 flash проваливается на низких уровнях размышлений и тратит огромное количество токенов (на порядок больше) на самых высоких уровнях размышлений, где она способна успешно выполнить задачи. Я оценю этот новейший релиз, поскольку они особо заявляют, что «модель сокращает время выполнения задачи и длину вывода», но надежды невысоки.
- jmward01
Эта модель — причина, по которой OpenAI и Anthropic хотят регуляторных барьеров. Нам нужно больше разнообразия, как это, а не меньше. Разнообразная экосистема — единственное долгосрочное решение сложных проблем, которое я знаю, и вызовы, которые ставит мир ИИ, ничем не отличаются.
- AmazingTurtle
итак, я провёл сравнение яблок с бананами.
я позволил 4 разным агентам просмотреть одну и ту же грязную кодовую базу (изменено 200+ файлов, c++, игровой движок):
- deepseek v4.1 flash через deepseek API: потребовалось 20 минут, чтобы найти одну релевантную проблему p1 и одну нерелевантную проблему p2
- glm 5.3 flash NVFP4 через TP2 DGX Sparks: потребовалось 1 час 5 минут, чтобы найти проблему документации p3
- gpt 5.6 sol: потребовалось 5 минут 30 секунд на одну проблему p1 и одну p2. обе релевантны
- gpt 6.1 sol: потребовалось 4 минуты 30 секунд на две проблемы p1 и одну p2. обе релевантны.
Стоит упомянуть: ни одна из этих находок не пересекалась.
Я позволил deepseek v4.1 flash и gpt 6.1 sol обоим спланировать исправления по сводке находок. в этом конкретном сценарии: gpt 6.1 sol планировал увеличить размер буфера со 128 до 256, чтобы вместить 191 элемент, который вылетел за пределы тестового сценария. он включил некоторый запас. deepseek v4.1 flash, с другой стороны, решил сделать его ровно 191, чтобы удовлетворить тест, например.
TPS декодирования у deepseek впечатляет. У меня никогда не было ощущения секунды / что меня оставили одного, и мысли «чёрт, эта штука работает». Несмотря на все мои усилия, ему потребовалось примерно в 4 раза больше времени на ревью, он нашёл меньше и спланировал хуже, чем GPT 6.1 Sol. По настенным часам. У меня нет подсчёта токенов для сравнения. Если бы я оценивал эти модели от 1 до 10 (10 = высший класс GG), я бы дал deepseek твёрдую 6.5, а 6.1 sol — 7.5-8.0, может быть.
- simonw
Вот несколько пеликанов. Вариант «max» занял более 11 минут: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
Определённо улучшение по сравнению с deepseek-v4-flash-0731: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
- apejcic
Это отличное обновление, я прогнал бенчмарк, сравнивая многословность и интеллект со старыми весами.
- Reasoning effort = 1 теперь действительно можно использовать, и он производит в 2,5 раза меньше токенов, чем старые веса, без потери интеллекта.
- В целом на 20% меньше токенов при каждом уровне reasoning effort.
- Тот же интеллект и тот же паттерн вызова инструментов.
Подробности в блог-посте https://sference.com/blog/deepseek-v41f-1017-benchmark
- pmxi
Уморительное предложение: «DeepSeek-V4.1-Flash-1017 — это незначительное обновление DeepSeek-V4.1-Flash, обеспечивающее существенные улучшения в рассуждениях, кодинге, агентных задачах и визуальных бенчмарках». (выделение моё)
- liuliu
Всё ещё нужно 2 или 3 дня, чтобы как следует квантизировать это. Но это действительно хорошая модель для запуска, если у вас 64 ГиБ или больше оперативной памяти на Mac. На M5 Ultra вы получаете ~3400 tok/s для обработки промпта и ~50 tok/s для генерации токенов, вполне рабочее состояние.
- ilitirit
Я использую DS v4.1 Flash ежедневно уже почти месяц в экспериментах с Agent Swarm. Я тестировал её против GLM-5.3-flash и Opus 5.5. DS 4.1 для меня выходит на первое место. Opus 5.5 по-прежнему самая умная, но скорость и цена DS 4.1 с лихвой компенсируют разрыв в «интеллекте». Я запускал рои Chief/Builder/Reviewer автономно на несколько дней. Думаю, мой новый рабочий процесс будет таким: DS 4.1 Flash делает всю инженерию, а Opus просто ревьюит её работу. 4.1 Flash действительно очень впечатляющая модель. Респект команде Deepseek.