DeepSeek, 자사 대규모 서비스 구동한 추론 엔진 DeepInfer 오픈소스로 공개

DeepSeek just open-sourced its inference engine

DeepSeek이 프로덕션 서비스에 실제로 사용한 고성능 추론 프레임워크 DeepInfer를 Apache 2.0 라이선스로 공개했다. DeepSeek-V4.1-Flash 모델을 지원하며, FlashMLA·DeepGEMM·DeepEP 등 최적화 커널과 MoE EP+EPLB 병렬화, 비동기 스케줄링, 배치 불변 추론, 결정론적 샘플링, 구조화 출력 기능을 갖췄다. NVIDIA SM100 GPU와 Huawei Ascend 950 NPU에서 동작하며, KV 캐시와 디스어그리게이션 등 완전한 서비스에 필요한 일부 구성요소는 이번 릴리스에 포함되지 않았다.