DeepSeek lanza V4.1-Flash: inteligencia asimétrica con solo 8B parámetros activos

Como también dije en Twitter, de verdad me asombra lo intrépidos que son en Deepseek. Cada lanzamiento de modelo está repleto de ideas nuevas y locamente ingeniosas y, de alguna manera, siempre se comprometen a entrenarlas a escala casi de frontera.

Sé que todo el mundo quiere la historia completa de las ideas ingeniosas que se desarrollaron durante los últimos ~3 años en Anthropic y OpenAI, pero lo que realmente quiero hojear es el cuaderno de DeepSeek de ideas "brillantes pero que no llegaron a clasificar".

Deben estar probando cosas realmente descabelladas para poder aterrizar tanta novedad arquitectónica en sus lanzamientos completos.

Ya está en HuggingFace: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash

La mala noticia es que el v4 flash original era de 284B, lo cual era grande pero aún algo razonable para ejecutar localmente. Este es de 552B, casi el doble, así que las enormes ganancias en las puntuaciones de benchmarks tienen sentido; ya no es realmente flash, en mi opinión.

No tengo idea sobre el rendimiento real frente al benchmaxxing, aunque deepseek era bastante confiable en lo que respecta a los modelos chinos. Si eso se mantiene (y si no piensa eternamente, como a veces hacía deepseek 4) probablemente sea el nuevo rey de la colina entre los modelos de pesos abiertos.

Incluye visión, y hacen algo raro con la caché KV para que sea muy eficiente: "[...] estos diseños reducen la huella global de la caché KV a 890 bytes por token — aproximadamente 1/4 de DeepSeek-V4-Flash". Aprecio mucho el alto enfoque en la eficiencia, pero a estas alturas sí que nos vendría bien una versión flash-flash.

@edit: No pude entender cuál es el recuento real de parámetros, con la adición de la memoria Engram. Según tengo entendido, el 4.1 flash tiene 552B de parámetros que quieres en vram o ram, de los cuales ~16B están activos (8B para prefill). También incluye 196B adicionales de memoria Engram que puedes poner en un SSD. Creo.

Asumiendo que eso es correcto, 256 GB de memoria es insuficiente para siquiera cargar el modelo en q4; te quedarías 1GB corto, asumiendo que puedes llenarlo al 100% (así que no mac). También querrías algo para la caché kv, por supuesto. Un escritorio de 256 GB con algo de VRAM extra de la GPU podría ejecutarlo, pero una placa de consumo normal […]

Me sorprende que más gente no esté hablando del precio del cache hit: $0.003 por millón de tokens. Tengo la sensación de que el precio de 1 millón de tokens transmitidos por internet es más caro que el cache hit. ¿Estamos cerca de volver obsoleta la API de chat completion porque el costo de transferencia de contexto por la red va a dominar el costo total de la tarea?

Aquí está el mismo uso de tokens con diferentes tarifas: una tarea de codificación de larga duración real, base de código mediana, 447 turnos.

Input 1,026,957

Output 164,667

Cache read 36,554,368

GPT-6-astra

Type Rate Cost Share

Input 10.000 10.270 19%

Output 50.000 8.233 15%

Cache 1.000 36.554 66%

Total 55.057 100%

DeepSeek v4.1 Flash, $0.003 cache hit

Type Rate Cost Share

Input 0.300 0.308 50%

Output 1.200 0.198 32%

Cache 0.003 0.110 18%

Total 0.615 100%

DeepSeek v4.1 Flash, $0.006 cache hit

Type Rate Cost Share

Input 0.300 0.308 42%

Output 1.200 0.198 27%

Cache 0.006 0.219 30%

Total 0.725 100%

Hipotético: mismas tarifas de input/output de DeepSeek, pero con la caché tarifada de modo que represente el 66% de la factura.

Type Rate Cost Share

Input 0.300 0.308 21%

Output 1.200 0.198 13%

Cache 0.027 0.982 66%

Total 1.487 100%

Esta mejora de la caché hace que el modelo sea x2-x2.5 más eficiente en una tarea de largo horizonte […]

Creo que está muy claro que DeepSeek es obviamente el mejor laboratorio de IA del mundo.

Cada lanzamiento de modelo parece estar repleto de investigación y avances maravillosos.

Impresiones iniciales: este es un modelo realmente fuerte y el hecho de que redujeran los precios al mismo tiempo lo convierte en un modelo de respaldo increíble para usar cuando tu suscripción principal se agota y necesitas cubrir unos días antes de que se renueve.

También parece estar más dispuesto a simplemente hacer lo que le pidas. Mi benchmark favorito para esto es pedirle que descargue una rom de un juego antiguo que poseo. Es legal en mi jurisdicción, pero los modelos estadounidenses (excepto Grok) tienen tendencia a rechazarlo.

https://xcancel.com/deepseek_ai/status/2097930608790167907

Debería ser el enlace (¡ahora que vuelve a funcionar! :) )

Rendimiento y resultados de benchmarks absolutamente demenciales. Está superando a Opus 5 y Sol 5.6 https://tokenstead.ai/models/deepseek-v4-1-flash

OpenCode Go está ejecutando actualmente una promoción de uso 4x en DeepSeek v4.1 flash, no es una mala forma de mojarse los pies (aunque sus precios de cache hit probablemente sigan siendo muy subóptimos)

¿Alguien ha probado esto para programar? Tengo curiosidad por saber cómo se compara con los modelos Claude o GPT en bases de código más grandes, especialmente para depuración y hacer cambios en múltiples archivos.