MacBook ProでKimi K3（2.8T）を1トークン/秒で実行、4台のSSDからストリーミング

Kimi K3 (2.8T) at 1 token/s on a MacBook Pro, streamed from four SSDs

Deltafinは、Moonshot AIの2.8兆パラメータモデルKimi K3を、剪定なしでApple Silicon上で実行するネイティブバイナリです。このフォークは、SSDからのストリーミングを実現するARGODRIVEストレージ技術を統合し、M1 Maxで0.29トークン/秒を達成しました。すべての16エキスパートを保持し、品質を犠牲にせず、コンシューマーハードウェアでのフロンティアモデル実行の限界を探る実験です。