Análisis de la arquitectura de Kimi K3: el modelo open-weight más grande
Kimi K3 Architecture Overview and Notes
Analizo la arquitectura de Kimi K3, el modelo open-weight más grande hasta ahora con 2.8T parámetros. Destaco su evolución desde Kimi Linear, la incorporación de LatentMoE y la eliminación total de RoPE en favor de NoPE. También examino cómo las mejoras en la eficiencia de inferencia y los residuos de atención optimizan el rendimiento sin sacrificar la calidad.
Es la primera arquitectura de nivel fronterizo que utiliza NoPE en todas partes, eliminando por completo las capas de RoPE.