Полная модель Kimi K3 (2.8 трлн параметров) запущена на MacBook Pro: 1 токен/с, потоковая передача с четырёх SSD
Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs
Форк Deltafin под названием ARGODRIVE запускает полную, необрезанную модель Kimi K3 (2.8 трлн параметров, 16 экспертов) на Apple Silicon, используя потоковую передачу с SSD. На MacBook Pro M1 Max достигнута скорость 0.29 токен/с. Проект принципиально отказывается от сжатия весов: каждый токен проверяется полной моделью, а небольшие модели-черновики лишь ускоряют процесс. Репозиторий включает бенчмарки и результаты измерений.
Мы выбираем запускать полную модель с 2,8 триллионами параметров локально и делать другие вещи не потому, что это легко, а потому, что это сложно.