Moonshot AI открыла веса Kimi K3.1 Pro — 2,8 трлн параметров и контекст в миллион токенов
Kimi K3.1 Pro model weights are out
Moonshot AI выложила на Hugging Face веса Kimi K3.1 Pro — нативной мультимодальной агентной модели класса 3T на архитектуре MoE: 2,8 трлн параметров, из которых активны 104 млрд. Контекстное окно — 1 048 576 токенов, в слоях внимания полное Gated MLA заменено на Gated DSA. Модель дообучена с масштабным joint reinforcement learning и показывает сильные результаты в кодинге, 3D-создании, финансовых исследованиях и агентных задачах.
По сравнению с Kimi K3 мы заменили слои полного внимания Gated MLA на слои Gated DeepSeek Sparse Attention (Gated DSA) для более эффективного моделирования длинного контекста.