Cerebras reparte un modelo de 3 billones de parámetros entre 59 obleas y logra 2000 tokens por segundo
Cerebras Deploys Trillion-Parameter AI Models
Cerebras explica cómo ejecuta modelos frontera de billones de parámetros en sus chips de oblea. Con Kimi K3, de unos 3 billones de parámetros, cada capa ocupa 16 GB y cada oblea WSE-3T tiene 44 GB de SRAM. Colocan una capa densa por oblea y dos de atención lineal, sumando 59 obleas conectadas en pipeline. Solo las activaciones viajan entre obleas, con unos 2 microsegundos por salto, y el pipeline se llena con peticiones distintas para alcanzar de 1000 a 2000 tokens por segundo.
Si solo enviáramos una petición por la línea a la vez y esperáramos a que terminara antes de empezar la siguiente, estaríamos desaprovechando la pipeline.