El harness del agente decide hasta el 11% de la energía que consumen las GPUs
Why harnesses matter for energy (and token) efficiency
Chad Gibson, cofundador y CEO de Neuralwatt, analiza un mes de tráfico y descubre que el cliente que llama al modelo determina una parte sorprendente del trabajo de las GPUs. Los harness con peor caché de prompt envían hasta un 11,1% de tokens sin cachear, y un fallo de caché casi duplica la energía de una petición. En sesiones profundas, un solo turno que relee más de la mitad del prompt cuesta como 600 turnos normales.
Cada ruptura de caché en nuestras pruebas de laboratorio provino de un harness que editaba lo que ya había enviado, forzando una relectura desde la primera diferencia en adelante.