Cerebras 如何部署万亿参数 AI 模型

Cerebras Deploys Trillion-Parameter AI Models

单颗 Cerebras WSE-3T 晶圆仅有 44 GB 片上内存，而万亿参数模型仅权重就需要 TB 级空间。我们拆解了如何利用 Kimi K3 开源模型，通过分层映射将模型分散到 59 颗晶圆上。关键在于利用流水线架构，让不同请求同时在各个阶段并行处理，配合 RDMA 实现微秒级通信。这种设计确保了模型权重无需移动，仅激活数据在晶圆间流转，从而在保持极低延迟的同时，实现每秒 1000 到 2000 个 token 的生成速度，并支持高并发请求。