Dos hosts RTX 5090 comparten la caché KV por Ethernet y evitan prefill en frío
Two RTX 5090 hosts sharing a KV cache over Ethernet
En viiwork, cuando una sesión de agente de código cambia de host, la caché KV se pierde y el nuevo host debe reprocesar todo el prompt. La función kv_share copia la réplica de la caché al siguiente host probable. En pruebas con dos RTX 5090, enviar una réplica de ~247 MiB tardó 3,24 s por 1 GbE, 0,81 s por 10 GbE con Tailscale y 0,55 s por cable directo. Los cambios en caliente subieron del 93,8 % al 96,8 %. La importación en el motor siguió tardando 2,8 s, y un bug de importación única se corrigió en viiwork v2.11.1.
Para estos dos hosts y esta carga de trabajo, 1 GbE era viable: el tráfico medio de kv_share rondaba los 320-450 Mb/s en cada dirección, y la mayoría de los cambios eran en caliente.