Cerebras переложила обработку промптов на GPU и в пять раз увеличила отдачу токенов на мегаватт

Cerebras Disaggregated Inference

Cerebras переложила обработку промптов на GPU и в пять раз увеличила отдачу токенов на мегаватт

Cerebras запустила в продакшене раздельный инференс: обработку промптов (prefill) выполняют GPU, например AMD Instinct, а генерацию ответов (decode) — системы Cerebras. На реальном эндпоинте GPT-OSS-120B такая схема дала в пять раз больше токенов на мегаватт без потери скорости генерации. Компания планирует развернуть решение на сотнях мегаватт в Cerebras Inference Cloud и у партнёров к концу 2027 года.

В нашем измеренном продакшен-развёртывании эта комбинация дала в 5 раз большую пропускную способность на мегаватт по сравнению с конфигурацией только на CS-3, без потери скорости генерации токенов.

Ещё за этот день

2026-11-18