DeepSeek veröffentlicht seine produktive Inferenz-Engine als Open Source
DeepSeek just open-sourced its inference engine
Mit DeepInfer gibt DeepSeek die Inferenz-Engine frei, die seine eigenen Produktionsdienste antreibt – zunächst als Offline-Variante für DeepSeek-V4.1-Flash. Enthalten sind optimierte Kernel wie FlashMLA und DeepGEMM, asynchrones Scheduling, deterministisches Sampling sowie batch-invariante Inferenz. Unterstützt werden NVIDIA SM100 GPUs und Huawei Ascend 950 NPUs. Für einen vollständigen Dienst fehlen noch KV-Cache, Disaggregation und Load Balancing über Replikate. Lizenz: Apache 2.0.
DeepInfer ist das hochperformante Inferenz-Framework, das DeepSeeks großskalige Produktionsdienste antreibt.