Cerebras, 3조 파라미터 모델을 웨이퍼 59장에 올려 초당 2000토큰을 뽑아낸다
Cerebras Deploys Trillion-Parameter AI Models
Cerebras가 3조 파라미터 규모의 Kimi K3를 44GB 온칩 메모리를 가진 WSE-3T 웨이퍼 59장에 분산 배치하는 방법을 공개했다. 4비트 양자화로 레이어당 약 16GB를 차지하는 모델을 dense 레이어는 웨이퍼당 하나, linear-attention 레이어는 두 개씩 배치하고, 웨이퍼 사이에는 활성값만 RDMA로 주고받는다. 파이프라인을 여러 요청으로 채워 동시 처리하며 초당 1000~2000토큰 이상의 속도를 낸다.
각 Cerebras 웨이퍼는 44GB의 온칩 SRAM을 갖고 각 레이어는 16GB에 불과하기 때문에, 대부분의 경우 모델 가중치는 이동할 필요가 없고 레이어를 웨이퍼에 걸쳐 쪼갤 필요도 없다. 웨이퍼 사이를 넘어가는 것은 오직 활성값뿐이다.