RTX 5090を2台つないでKVキャッシュをEthernet越しに共有したら、切り替え時の待ち時間が41秒から2.8秒になった

Two RTX 5090 hosts sharing a KV cache over Ethernet

LLMのKVキャッシュは通常、そのターンを処理したGPUホスト上にしか存在しない。ホストが混雑してセッションが別マシンへ移ると、新しいホストは数万トークンを一から処理し直す「コールドprefill」を強いられる。viiworkのkv_shareはキャッシュの差分を次に移りそうなホストへ事前に送り、受信側でimportして温かい状態のまま再開させる仕組み。2台のRTX 5090で1GbE、Tailscale経由の10GbE、直結10GbEを比較したところ、247MiBの転送は3.24秒→0.81秒→0.55秒と短縮し、温かい切り替えの割合も93.8%から96.8%へ向上した。ただしimport自体は約2.8秒かかり、リンク速度を上げても改善しない。筆者はボトルネックはネットワーク帯域ではなくエンジンのimport処理とキャッシュの正確性にあると結論づけている。