Deltafin ejecuta el Kimi K3 completo de 2.8 billones de parámetros en un MacBook Pro a 1 token/s
Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs
Deltafin, un fork de gavamedia/deltafin con el trabajo de almacenamiento ARGODRIVE, ejecuta el modelo Kimi K3 de Moonshot AI sin podar, con sus 16 expertos y 2.8 billones de parámetros, en un MacBook Pro M1 Max. Los últimos benchmarks muestran 0.2901 tokens/s, un aumento del 1.9% respecto a la versión anterior. El proyecto prioriza la calidad del modelo sobre la velocidad, y utiliza un runtime nativo en Rust con almacenamiento en SSDs y verificación de cada token por parte de K3.
Deltafin es el otro experimento: cada byte de los expertos exactamente como lo lanzó Moonshot, hecho tan rápido como la física lo permita.