Microsoft의 Maia 300, 랙당 토큰 처리량 7배로 끌어올리다
Deep dive into Azure Maia 300 architecture
Microsoft가 3세대 AI 가속기 Azure Maia 300을 공개했다. 96개 가속기를 167kW 랙에 통합해 Maia 200 대비 랙 스케일 토큰 처리량을 최대 7배, 전력당 성능을 2.5배 높였다. 12,288개 가속기 슈퍼팟을 단일 패브릭으로 연결하고, 소프트웨어 정의 데이터플로우 아키텍처(SDLA)와 NUMA 기반 메모리 구조로 데이터 이동을 최소화해 에이전트 추론에 최적화했다.
Maia 300은 Maia 200 대비 최대 7배 높은 랙 스케일 토큰 처리량과 2.5배 이상의 전력당 성능을 제공합니다.