메모리가 해자다: MI355X에서 Kimi K3 실행, B300 대비 달러당 성능 우위

Running Kimi K3 on MI355X at Better Performance per Dollar Than B300

Wafer는 AMD MI355X 8개 GPU 노드에서 2.8T 파라미터의 Kimi K3를 서빙하여 노드당 952 tok/s, 단일 스트림 118 tok/s를 달성했습니다. 이는 TP16 B200 배포 대비 집계 처리량 3.8배, 단일 스트림 디코드 1.3배 이상이며, B300 대비 GPU당 가격이 2.4배 저렴하여 성능 대비 가격에서 우위를 점합니다. AMD의 ROCm 소프트웨어 스택에서 발생한 문제들은 사소한 수정(예: top-k renorm 함수 정의, MLA prefill 커널의 헤드 패딩)으로 해결되었고, 커스텀 커널 없이도 가능했습니다. 이는 AMD가 추론 하드웨어의 강력한 대안이 되고 있음을 시사합니다.