CPU의 귀환: LLM 추론에서 CPU-GPU 분할 재고

The CPU is back: Rethinking the CPU-GPU split for LLM inference

GPU가 LLM 추론을 지배해온 지난 3년과 달리, 에이전틱 AI와 소형 모델의 확산으로 CPU의 중요성이 다시 부상하고 있다. Intel은 추론 워크로드에서 CPU:GPU 비율이 1:8에서 1:1로, 에이전틱 배포에서는 4:1로 이동하고 있다고 밝혔다. 연구에 따르면 에이전틱 워크로드에서 CPU 측 도구 처리가 전체 지연 시간의 50~90%를 차지한다. NVIDIA와 Arm은 각각 Vera CPU와 AGI CPU를 출시했으며, Morgan Stanley는 2030년까지 CPU 시장이 325억~600억 달러 성장할 것으로 전망한다. Red Hat은 CPU 추론 성능 평가를 위한 오픈소스 프레임워크를 제안한다.