Mac StudioでQwen3.5-122Bを実用化した3つのバグ修正
Fixed three bugs that made Qwen3.5-122B a daily driver on Mac Studio

M3 Ultra搭載Mac StudioでQwen 3.5 122Bを毎日使えるようにするため、著者は3つのバグを修正しました。システムプロンプトのタイムスタンプがKVキャッシュの一致を妨げ、割り込み時にストリーミング応答が履歴に保存されず、チェックポイントストアに一致しないジャンク書き込みが蓄積して有効なチェックポイントを追い出していました。修正後、同じ会話でターンごとのプリフィルが数分から1秒未満に短縮され、キャッシュ有効時は32kトークンの繰り返しプロンプトで88秒が0.64秒になりました。qMLXとして公開されたフォークは、ハイブリッドアテンションに特化しています。
KV再利用はバイト単位で正確です。プロンプトが少しでも変わると、最初の違いで一致が失敗し、それ以降はすべて再計算されます。