DeepSeek libera el motor de inferencia que mueve su producción a gran escala

DeepSeek just open-sourced its inference engine

DeepSeek publicó DeepInfer bajo licencia Apache 2.0, el framework de inferencia de alto rendimiento que impulsa sus servicios en producción. Incluye kernels optimizados como FlashMLA y DeepGEMM, paralelismo Attention DP y MoE EP con EPLB, verificación programada por confianza, inferencia invariante al batch y muestreo determinista. Soporta GPUs NVIDIA SM100 y NPUs Huawei Ascend 950. Quedan fuera el sistema de KV cache y el desagregado Prefill/Decode, aunque la mayor parte del motor ya está implementado.