Cerebras、3兆パラメータのモデルを59枚のウェハで動かす仕組み
Cerebras Deploys Trillion-Parameter AI Models
Cerebrasが、約3兆パラメータのオープンソースモデルKimi K3を複数のWSE-3Tウェハに分割して毎秒1000〜2000トークン以上で動かす手法を解説。各ウェハの44GBオンチップメモリにレイヤーを丸ごと収め、重みを動かさずアクティベーションだけをRDMA over Ethernetで受け渡すパイプライン構成や、KVキャッシュの容量から同時リクエスト数を決める考え方を示す。
ほとんどの場合、モデルの重みを動かす必要はなく、レイヤーをウェハ間に分割する必要もありません。ウェハから次のウェハへ渡るのはアクティベーションだけです。