DeepSeek-V4.1-Flash-1017 supera a GPT-5.6 Sol en tareas de agentes
Actualización menor de DeepSeek-V4.1-Flash que mejora razonamiento, código y tareas agénticas, además de reducir el tiempo de ejecución y la longitud de salida. Alcanza 42,3 en Terminal-Bench 4.0 frente a 31,2 de la versión anterior, y 60,5 en Automation-Bench. Se distribuye bajo licencia MIT, sin plantilla de chat Jinja, con una implementación de referencia en Python y el toolkit en Rust deepseek-recipe para el formateo de prompts.
Esta versión no incluye una plantilla de chat en formato Jinja.
- OsrsNeedsf2P
DS no es mejor que Sol y Gemini en los benchmarks, pero después de trabajar con todos ellos durante un tiempo ahora empiezo a entender por qué la gente siente que DS _se siente_ mucho mejor.
Primero, son los tok/s y el TTFT de los proveedores. Deepseek avanza a toda velocidad por el trabajo — con bastante buena calidad — y no te encuentras esperando a que tus agentes terminen.
Segundo es la apertura. Poder ver el CoT y no ser bloqueado aleatoriamente por revisión de ciberseguridad. Nunca te preguntas si está atascado o si fallará aleatoriamente. Combinado con la gran relación costo-valor... Mi próxima suscripción probablemente será Z.ai
- gregwebs
La propia página de noticias de la empresa: https://api-docs.deepseek.com/news/news261017
Están mostrando que esta nueva versión puntúa significativamente más alto en múltiples benchmarks de programación, superando a Sol 5.6 (6.1 es el más reciente) en 10/11 benchmarks.
Voy a volver a DeepSeek para escribir código. Estaba probando usar Sol y me gustaba el resultado, pero esto debería cerrar gran parte de esa brecha. Uso Opus/Sol para un plan de implementación y revisión de código, también los uso para interrogarlos. DeepSeek también está ejecutando verificaciones.
- a11r
Un dato negativo — Hemos evaluado modelos Deepseek Flash anteriores (tanto el 4.1 flash original como el 4.0 flash más pequeño) y han sido sobrepensadores. Nuestra carga de trabajo son tareas de programación bien definidas pero moderadamente difíciles y entre los modelos de pesos abiertos GLM5.3 flash rinde mejor con Qwen3.8 flash segundo muy cerca. DeepSeek 4.1 flash falla en niveles de pensamiento bajos y gasta una enorme cantidad de tokens (un orden de magnitud más) en los niveles de pensamiento más altos donde es capaz de completar las tareas con éxito. Evaluaré este último lanzamiento ya que afirman específicamente que "el modelo reduce el tiempo de ejecución de tareas y la longitud de salida", pero manteniendo mis esperanzas bajas.
- jmward01
Este modelo es la razón por la que OpenAI y Anthropic quieren obstáculos regulatorios. Necesitamos más diversidad como esta, no menos. Un ecosistema diverso es la única solución a largo plazo para problemas complejos que conozco y los desafíos que el mundo de la IA está presentando no son diferentes.
- AmazingTurtle
así que hice una comparación de peras con manzanas.
dejé que 4 agentes diferentes revisaran el mismo código base sucio (más de 200 archivos cambiados, c++, motor de juego):
- deepseek v4.1 flash vía API de deepseek: tardó 20m en encontrar un problema p1 que era relevante y un problema p2 que era irrelevante
- glm 5.3 flash NVFP4 vía TP2 DGX Sparks: tardó 1h 5m en encontrar un problema de documentación p3
- gpt 5.6 sol: tardó 5m30s en encontrar un problema p1 y uno p2. ambos relevantes
- gpt 6.1 sol: tardó 4m30s en encontrar dos problemas p1 y uno p2. ambos relevantes.
Vale la pena mencionar: ninguno de esos hallazgos se solapó.
Dejé que deepseek v4.1 flash y gpt 6.1 sol planificaran arreglos para el resumen de los hallazgos. en este escenario particular: gpt 6.1 sol planeó aumentar el tamaño de un búfer de 128 a 256 para acomodar los 191 elementos que desbordaron un escenario de prueba. incluyó algo de margen. deepseek v4.1 flash por otro lado decidió hacerlo exactamente 191 para satisfacer la prueba, por ejemplo.
El TPS de decodificación en deepseek es impresionante. Nunca tuve la sensación de que me dejaran solo y pensé "maldita sea, esto está funcionando". A pesar de todos mis esfuerzos, tardó ~4x más en una revisión, encontró menos y planificó peor que GPT 6.1 Sol. Tiempo de reloj. No tengo conteos de tokens para comparar. Si tuviera que calificar esos modelos del 1 al 10 (10 = nivel superior GG), le daría a deepseek un sólido 6.5 y a 6.1 sol un 7.5-8.0 quizás.
- simonw
Aquí hay algunos pelícanos. El de "max" tardó más de 11 minutos: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
Definitivamente una mejora sobre deepseek-v4-flash-0731: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
- apejcic
Es una gran actualización, ejecuté un benchmark comparando verbosidad e inteligencia en comparación con los pesos antiguos.
- Reasoning effort = 1 ahora es realmente usable y produce 2.5x menos tokens que los pesos antiguos, sin pérdida de inteligencia.
- En general 20% menos tokens en cada nivel de razonamiento.
- Misma inteligencia y mismo patrón de llamada de herramientas.
Más detalles en la publicación del blog https://sference.com/blog/deepseek-v41f-1017-benchmark
- pmxi
Frase hilarante: "DeepSeek-V4.1-Flash-1017 es una actualización menor de DeepSeek-V4.1-Flash, que ofrece mejoras sustanciales en razonamiento, programación, tareas agénticas y benchmarks visuales". (énfasis mío)
- liuliu
Todavía necesito 2 o 3 días para cuantificar esto adecuadamente. Pero es un modelo realmente bueno para ejecutar si tienes 64GiB o más de RAM en Mac. En M5 Ultra, obtienes ~3400 tok/s para procesamiento de prompt y ~50 tok/s para generación de tokens, un estado bastante usable.
- ilitirit
He estado usando DS v4.1 Flash a diario durante casi un mes ahora en experimentos de Agent Swarm. Lo he probado contra GLM-5.3-flash y Opus 5.5. DS 4.1 sale como el mejor para mí. Opus 5.5 sigue siendo el más inteligente, pero la velocidad y el precio de DS 4.1 compensan con creces la brecha de "inteligencia". He ejecutado enjambres Chief/Builder/Reviewer de forma autónoma durante varios días. Creo que mi nuevo flujo de trabajo va a tener a DS 4.1 Flash haciendo toda la ingeniería y solo tener a Opus revisando su trabajo. 4.1 Flash realmente es un modelo muy impresionante. Felicitaciones al equipo de Deepseek.