Харнесс решает, сколько энергии потратит GPU: промах кэша удваивает расход

Why harnesses matter for energy (and token) efficiency

Neuralwatt проанализировал месяц трафика и выяснил, что клиентские обвязки (харнессы) по-разному используют кэш промптов: доля некэшированного ввода варьируется от 1,6% до 11,1%. Промах кэша увеличивает энергопотребление запроса примерно вдвое, а на GLM-5.3 — в 2,5 раза. В глубоких сессиях редкие перечитывания промпта обходятся как 600 обычных ходов. Почти все сбои кэша вызваны тем, что харнесс редактирует уже отправленный текст, и это можно исправить.