Warum Harnesses die Energieeffizienz von LLMs entscheiden

Why harnesses matter for energy (and token) efficiency

Chad Gibson, CEO von Neuralwatt, analysiert einen Monat Traffic und zeigt: Der Agent-Harness bestimmt maßgeblich, wie viel Energie die GPUs verbrauchen. Ein Cache-Miss verdoppelt den Energiebedarf einer Anfrage fast – bei GLM-5.3 sogar um das 2,5-Fache. Tiefe Sessions machen Fehlschläge teuer: Ein einzelner Turn, der mehr als die Hälfte des Prompts neu liest, kostet so viel Prefill wie etwa 600 normale Turns. Fast alle Cache-Breaks entstehen, weil der Harness bereits gesendeten Text ändert.