DeepSeek открыла исходный код движка инференса, на котором работает её продакшен
DeepSeek just open-sourced its inference engine
DeepSeek выложила на GitHub фреймворк DeepInfer — тот самый высокопроизводительный движок, что обслуживает её крупномасштабные сервисы. В открытой версии доступен офлайн-инференс модели DeepSeek-V4.1-Flash с оптимизированными ядрами, параллелизмом MoE EP + EPLB, асинхронным планированием и детерминированной генерацией. Поддерживаются GPU NVIDIA SM100 и NPU Huawei Ascend 950. Для полного сервиса не хватает KV-кэша и разделения prefill/decode, но большая часть движка уже реализована. Лицензия Apache 2.0.
DeepInfer — это высокопроизводительный фреймворк инференса, который обеспечивает крупномасштабные продакшен-сервисы DeepSeek.