29GB RAM으로 2.78조 파라미터 Kimi K3 모델 구동하는 WASTE 엔진
Run Kimi K3 using 29 GB of RAM at 0.50 tok/s
저는 C로 작성된 WASTE 엔진을 통해 64GB RAM 노트북에서 2.78조 파라미터 규모의 Kimi K3 모델을 실행하는 데 성공했습니다. 이 엔진은 NVMe 디스크에서 필요한 가중치를 스트리밍하여 메모리 한계를 극복하며, 별도의 의존성 없이 작동합니다. 이는 거대 모델을 클라우드 없이 로컬에서 실행하는 새로운 가능성을 보여줍니다.
클라우드 서비스에서 답변된 모든 토큰은 두 번을 지불하게 됩니다: 한번은 청구서로, 한번은 데스크에 이미 있는 하드웨어에 충분히 들어갈 모델을 데이터센터에서 구동하는 전기비로.