DeepSeek regala una optimización que reduce el KV cache 437 veces y las labs occidentales la adoptan en silencio
The AI Race Just Got Awkward
Anthropic y OpenAI lanzaron Claude Opus 5.5 y GPT-6.1 Sol sin apenas anuncio, después de adoptar la optimización de KV cache que DeepSeek compartió abiertamente. La técnica reduce el uso de memoria en un factor de 437 respecto a DeepSeek-V1 y abarata drásticamente el coste de inferencia: Opus 5.5 recortó el precio de lectura de caché un 60% y GPT-6.1 Sol un 80%. Las labs chinas, forzadas por las restricciones de GPU, priorizaron la eficiencia y ahora sostienen a las occidentales.
Las labs chinas le han lanzado un salvavidas a las labs occidentales que pierden dinero, y no tengo ni idea de por qué.
- cmiles8
¿Por qué es un problema que los laboratorios chinos simplemente estén destilando los modelos de Anthropic? ¿Acaso los modelos de Anthropic no son también una destilación del trabajo de otros?
Parece que Anthropic se queja con eso de "haz lo que digo, no lo que hago".
- slowin
También estoy agradecido con los laboratorios chinos por proporcionar soluciones alternativas a los jardines amurallados que las empresas de IA con sede en EE. UU. intentan crear.
¿Alguien sabe si hay conjuntos de datos de destilación disponibles? Me encantaría verlos distribuidos en BitTorrent. Creo que es fundamental que la IA se democratice y no quede aislada en manos de unas pocas empresas privadas.
- bwest87
La mejor explicación es que es un objetivo del PCCh mercantilizar los LLM en general, porque los LLM serán en última instancia un complemento de la manufactura (que China domina), y siempre quieres "mercantilizar tus complementos".
Creo que esto explica por qué están abriendo el código ampliamente. No es por ser amables. Es una jugada estratégica del gobierno chino para ayudar a garantizar que haya muchos jugadores en esta carrera y que no se acumule demasiado poder en los laboratorios estadounidenses (incluso si los laboratorios estadounidenses se benefician en el proceso).
- listless
Estoy más que agradecido de que los modelos de IA chinos sean tan buenos. Deseo desesperadamente que curemos la miríada de enfermedades que los humanos sufren innecesariamente a diario. Vamos a necesitar modelos más potentes de los que tenemos ahora si queremos lograrlo, y los chinos están proporcionando la competencia necesaria para impulsar esto lo más rápido posible.
Me doy cuenta de que "ir lo más rápido que podamos" no es la posición más popular en este momento. Pero me interesa mucho más el bien que podemos hacer que los escenarios de apocalipsis del 10%. Soy voluntario en una organización benéfica para el cáncer cerebral infantil y no quiero ver morir a otro niño de 4 años. Estoy dispuesto a arriesgarlo todo para detener esto.
- reedf1
He estado ejecutando Qwen 3.8 27b (un modelo de nivel opus 4.6) localmente en una 5090 durante poco más de dos semanas a 170 tokens/s. Eso es un modelo de frontera de hace 9 meses corriendo en hardware de consumo. Quién sabe a dónde nos llevarán la destilación y la poda en otro año.
- reticulates
«Así que los laboratorios chinos le han lanzado un salvavidas a los laboratorios occidentales deficitarios, y no tengo ni idea de por qué».
No creo que sea intencional, pero en realidad esto es bastante malo para los laboratorios occidentales.
Toda la narrativa de impulso ha sido «¡mira cómo crecen sus ingresos! ¡De 10 mil millones a 100 mil millones de ARR en menos de un año! ¡Esto será una IPO de varios billones!» y el crecimiento futuro extrapolado de 100 mil millones a 500 mil millones y de 500 mil millones a 1 billón justificaba la inversión futura... pero esos ingresos solo existían porque la inferencia era costosa.
La historia del crecimiento de ingresos es lo único que importa antes de la IPO. Si los ingresos caen de 100 mil millones a 50 mil millones, eso es muy, muy mala imagen para OpenAI y Anthropic, incluso si ahora son rentables, destruye por completo la narrativa de crecimiento.
- eggbrain
Las optimizaciones de rendimiento no solo ayudan a los laboratorios occidentales, también ayudan a ejecutar LLM más potentes/útiles localmente.
Si los LLM locales se vuelven lo suficientemente «buenos», la gente pronto dejará de pagar suscripciones a ChatGPT y Claude, lo que perjudica sus ingresos.
- user43928
> Todo esto debe significar que las empresas occidentales de IA ahora tienen márgenes de inferencia extremadamente positivos.
> Así que los laboratorios chinos le han lanzado un salvavidas a los laboratorios occidentales deficitarios, y no tengo ni idea de por qué.
Que la inferencia no era rentable es un mito muy extendido.
Un análisis basado en Kimi K3 sugiere que OpenAI y Anthropic tienen márgenes muy por encima del 95%: https://inferencex.semianalysis.com/run/kimi-k3-on-b200
En los últimos meses he visto noticias de que OpenAI logró avances en eficiencia de inferencia varias veces.
No tengo ninguna razón para creer que los principales laboratorios estadounidenses no tengan sus propias optimizaciones, o que se hayan enterado de esta optimización en particular por DeepSeek.
- rglover
> Así que los laboratorios chinos le han lanzado un salvavidas a los laboratorios occidentales deficitarios, y no tengo ni idea de por qué.
«Así el experto en batalla mueve al enemigo, y no es movido por él».
Descubrieron un método ingenioso para evitar costos excesivos de entrenamiento mediante destilación. Eso obliga a los laboratorios de frontera a moverse más rápido, producir mejores modelos, etc. (para evitar la vergüenza y «quedarse atrás», mientras cargan con la mayor parte del costo), y ellos pueden simplemente seguir destilando, o aplicando otras técnicas en su contra, para gran consternación de dichos laboratorios de frontera.
Jaque mate.
- wren6991
La doblepensamiento necesaria para creer simultáneamente «nuestras salvaguardas evitan que nuestros modelos realicen tareas de ciberseguridad no autorizadas» y «la destilación es la razón por la que los modelos chinos están mejorando en tareas de ciberseguridad» es realmente bastante divertida.