Два хоста с RTX 5090 обмениваются KV-кэшем по Ethernet, чтобы не терять контекст
Two RTX 5090 hosts sharing a KV cache over Ethernet
Автор проверил, насколько скорость сети влияет на передачу KV-кэша между двумя машинами с RTX 5090 при работе кодирующего агента. Реплика кэша размером около 247 МиБ передавалась за 3,24 с по 1 GbE, за 0,81 с по 10 GbE через Tailscale и за 0,55 с по прямому кабелю. Доля «тёплых» переключений выросла с 93,8% до 96,8%, но импорт на принимающем хосте всё равно занимал около 2,8 с. Главный вывод: 1 GbE вполне достаточно, а узкое место — не пропускная способность, а импорт и корректность кэша.
Для этих двух хостов и этой нагрузки 1 GbE оказалась работоспособной: средний трафик kv_share составлял примерно 320–450 Мбит/с в каждом направлении, и большинство переключений проходили с тёплым кэшем.