DeepSeek V4 Flash corre en una sola AMD MI300X a 168 tok/s

DeepSeek V4 Flash on a Single AMD MI300X

Un desarrollador publicó en GitHub la configuración y los parches necesarios para ejecutar el checkpoint DeepSeek-V4-Flash-0731 en una sola AMD MI300X en producción, sin cuantificación adicional ni descarga de pesos. El stack, basado en vLLM ROCm nightly y AITER, alcanza 168.6 tok/s de decodificación en una sola secuencia y hasta 830 tok/s agregados con 64 secuencias concurrentes. El repositorio corrige problemas críticos de compatibilidad, como el formato FP8 FNUZ de MI300X, el enrutamiento MoE y la verificación especulativa causal, e incluye tablas de ajuste para kernels AITER en gfx942.