Maia 300 от Microsoft: в 7 раз больше токенов на стойку и в 2,5 раза выше энергоэффективность
Deep dive into Azure Maia 300 architecture
Microsoft представила Azure Maia 300 — третий ускоритель для инференса LLM, спроектированный как единая система от чипа до дата-центра. В полной конфигурации на 96 ускорителей в стойке он обеспечивает до 7 раз большую пропускную способность по токенам и более чем в 2,5 раза лучшую производительность на ватт по сравнению с Maia 200. Архитектура включает мультичиплетный дизайн, NUMA-организацию памяти, форматы низкой точности и двухуровневую сеть scale-up на 12 288 ускорителей.
Maia 300 обеспечивает до 7 раз большую пропускную способность по токенам на уровне стойки и более чем в 2,5 раза лучшую производительность на ватт по сравнению с Maia 200.