两台 RTX 5090 通过以太网共享 KV cache

Two RTX 5090 hosts sharing a KV cache over Ethernet

大语言模型在长对话中若丢失 KV cache，每次切换主机都需重新计算，导致数秒甚至数分钟的等待。viiwork 的 kv_share 机制尝试在会话切换前，将缓存副本通过网络传输到下一台主机，让新主机能直接“热启动”。我在两台 RTX 5090 机器上测试了不同网络环境：从 1 GbE 局域网到 10 GbE 直连，发现网络带宽确实影响传输速度，但 1 GbE 已足够让大部分切换保持“热”状态。真正的瓶颈在于接收端的导入耗时（约 2.8 秒）以及缓存一致性逻辑，而非单纯的带宽。这揭示了在分布式推理中，优化软件逻辑比单纯堆砌网络硬件更关键。