RTX 5090 두 대를 Ethernet으로 묶어 KV 캐시를 공유했다
Two RTX 5090 hosts sharing a KV cache over Ethernet
viiwork가 두 대의 RTX 5090 호스트 사이에서 KV 캐시 복제본을 네트워크로 넘기는 kv_share를 실험했다. 세션이 다른 호스트로 넘어갈 때 콜드 prefill 대신 캐시를 import해 바로 이어가는 방식이다. 1GbE에서는 복제본 전송에 3.24초가 걸렸지만 10GbE 직결에서는 0.55초로 줄었고, warm 전환 비율은 93.8%에서 96.8%로 소폭 올랐다. 다만 import 자체는 여전히 약 2.8초가 걸려 병목은 대역폭보다 엔진 쪽에 있었다.
이 두 호스트와 이 워크로드에서는 1GbE로도 충분히 쓸 만했다. 남은 큰 개선점은 더 많은 네트워크 대역폭이 아니라 엔진의 import와 캐시 정확성에 있었다.