Cerebras, GPU와 손잡고 전력당 토큰 5배 늘렸다

Cerebras Disaggregated Inference

Cerebras, GPU와 손잡고 전력당 토큰 5배 늘렸다

Cerebras가 GPU로 프롬프트 처리(prefill)를 맡기고 자사 웨이퍼 스케일 엔진이 응답 생성(decode)을 전담하는 분리형 추론(disaggregated inference)을 상용화했다. 실제 프로덕션 환경에서 기존 CS-3 단독 구성 대비 메가와트당 처리량이 5배로 늘었고, 토큰 생성 속도는 그대로 유지됐다. 2027년까지 수백 메가와트 규모로 확대할 계획이며, AWS, Fireworks AI 등 파트너도 이 솔루션을 도입할 수 있다.

에이전트형 애플리케이션이 빠르게 확장되면서, 전력이 제한된 환경에서 우리 업계는 응답 속도를 유지하면서 메가와트당 추론 용량을 크게 늘려야 한다.

이 날의 다른 글

2026-11-18