Azure Maia 300、ラックスケールのトークンスループットを7倍に

Deep dive into Azure Maia 300 architecture

Microsoftが第3世代AIアクセラレータAzure Maia 300を発表した。96基のアクセラレータを167kWのラックに統合し、Maia 200比でラックスケールのトークンスループットを最大7倍、性能あたり電力効率を2.5倍以上に高める。メモリ帯域は2.5倍、容量は33%増、HBM帯域あたり電力効率は約2倍。チップレット間のNUMA化や低精度フォーマット、12,288基のスーパーポッドを結ぶ2層スケールアップネットワークなど、システム全体でエージェント推論を最適化する。