Cerebras, GPU와 손잡고 전력당 토큰 5배 늘렸다
Cerebras Disaggregated Inference

Cerebras가 GPU로 프롬프트 처리(prefill)를 맡기고 자사 웨이퍼 스케일 엔진이 응답 생성(decode)을 전담하는 분리형 추론(disaggregated inference)을 상용화했다. 실제 프로덕션 환경에서 기존 CS-3 단독 구성 대비 메가와트당 처리량이 5배로 늘었고, 토큰 생성 속도는 그대로 유지됐다. 2027년까지 수백 메가와트 규모로 확대할 계획이며, AWS, Fireworks AI 등 파트너도 이 솔루션을 도입할 수 있다.
에이전트형 애플리케이션이 빠르게 확장되면서, 전력이 제한된 환경에서 우리 업계는 응답 속도를 유지하면서 메가와트당 추론 용량을 크게 늘려야 한다.