Gimlet Labs привлекла $300 млн на ускорение AI-инференса
Gimlet's Series B
Gimlet Labs объявила о привлечении $300 млн в рамках раунда Series B под руководством Andreessen Horowitz. Компания строит первый мультикремниевый облачный сервис для инференса, который разбивает модели на части и выполняет их на разных типах ускорителей (GPU, near-memory compute, dataflow и CPU). Это позволяет достичь ускорения в 5–10 раз при том же энергопотреблении. На фоне роста потребления токенов в 6 раз за год и прогнозов увеличения еще в 20 раз к 2030 году, Gimlet решает проблему нехватки мощности, повышая эффективность каждого киловатта.
Разбивая модель и запуская её на разных типах ускорителей, мы достигаем ускорения в 5–10 раз при том же энергопотреблении или аналогичного улучшения пропускной способности при той же задержке.