DeepSeekが本番サービスを支える推論エンジンDeepInferをオープンソース化

DeepSeek just open-sourced its inference engine

DeepSeekが大規模本番サービスを支えてきた高性能推論フレームワークDeepInferをApache 2.0で公開した。対象モデルはDeepSeek-V4.1-Flashで、FlashMLAやDeepGEMMなどの最適化カーネル、MoE向けEP+EPLB、非同期スケジューリング、バッチ不変推論、決定論的サンプリング、構造化出力などを備える。NVIDIA SM100とHuawei Ascend 950に対応し、KVキャッシュや分離構成は今後の提供となる。