DeepSeek开源DeepInfer推理引擎

DeepSeek just open-sourced its inference engine

DeepSeek正式开源了其高性能推理框架DeepInfer，该框架支撑着DeepSeek的大规模生产服务。此次发布支持DeepSeek-V4.1-Flash模型，集成了FlashMLA、DeepGEMM等优化内核，并实现了Attention DP、MoE EP等并行策略。框架具备DSpark验证、异步调度和确定性采样等核心功能，支持NVIDIA SM100 GPU和华为Ascend 910 NPU。开发者可快速构建离线推理服务，通过配置环境变量灵活调整性能参数。这一开源举措为社区提供了强大的工具，推动大模型推理技术的普及与创新。