Kimi K3 en MI355X: mejor rendimiento por dólar que B300

Running Kimi K3 on MI355X at Better Performance per Dollar Than B300

Wafer ha conseguido ejecutar Kimi K3, un modelo de 2.8 billones de parámetros, en un solo nodo con 8 GPU AMD MI355X, alcanzando 952 tokens por segundo por nodo y superando en rendimiento por dólar a las GPU B300 de NVIDIA. A pesar de los retos de software en ROCm, como la falta de kernels optimizados y errores en la verificación de muestreo, lograron solucionarlos con simples ajustes de PyTorch y padding de cabezas de atención. Este logro subraya la ventaja de la capacidad de memoria HBM de AMD y sugiere que el foso de CUDA podría estar desapareciendo.