MacBook Pro에서 SSD 4개로 2.8조 파라미터 Kimi K3를 1 token/s로 스트리밍하는 Deltafin
Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs
Deltafin은 Apple Silicon의 MacBook Pro에서 Moonshot AI의 2.8조 파라미터 MoE 모델 Kimi K3 전체를 SSD에서 스트리밍하여 실행하는 단일 네이티브 바이너리입니다. 가지치기 없이 16개 전문가 전부를 사용하며, M1 Max에서 초당 0.29토큰을 달성했습니다. 이 프로젝트는 1.7TB 모델을 로컬에서 실행하여 2백만 달러 규모의 인프라를 15,000달러 홈 셋업으로 대체하는 것을 목표로 합니다. ARGODRIVE 스토리지 작업을 포함한 포크로, 벤치마크 패키지와 결과를 공개합니다.
속도는 결코 모델 품질을 낮추는 데서 나와서는 안 된다.