Cerebras разворачивает ИИ-модели на триллион параметров на 59 пластинах
Cerebras Deploys Trillion-Parameter AI Models
Cerebras объясняет, как запускает открытую модель Kimi K3 с 3 трлн параметров на своих пластинах WSE-3T. Каждая пластина имеет 44 ГБ памяти, а один слой модели занимает около 16 ГБ. Плотные слои размещаются по одному на пластину с запасом под KV-кэш, линейные — по два. Итого нужно 59 пластин, соединённых в конвейер: веса остаются на месте, между пластинами передаются только активации. Система обслуживает множество запросов одновременно со скоростью 1000–2000+ токенов в секунду.
Каждая пластина Cerebras имеет 44 ГБ встроенной SRAM, а каждый слой занимает всего 16 ГБ, поэтому мы обычно можем разместить целые слои модели прямо на чипе.