Zwei RTX 5090 teilen sich einen KV-Cache über Ethernet
Two RTX 5090 hosts sharing a KV cache over Ethernet
Ein LLM muss bei jedem neuen Turn den gesamten Prompt neu durchrechnen, wenn der KV-Cache fehlt – bei langen Coding-Agent-Gesprächen bedeutet das Sekunden bis Minuten Wartezeit. viiwork kopiert den Cache deshalb per kv_share auf den Host, an den die Session als Nächstes wandert. Im Test mit zwei RTX 5090 verkürzte 10 GbE die Übertragung von 3,24 auf 0,81 Sekunden und hob den Anteil warmer Wechsel von 93,8 auf 96,8 Prozent. Der Import selbst blieb mit rund 2,8 Sekunden der eigentliche Engpass.
Für diese beiden Hosts und diese Workload war 1 GbE durchaus brauchbar: Der kv_share-Traffic lag im Schnitt bei etwa 320–450 Mb/s in jede Richtung, und die meisten Wechsel blieben warm.