에너지 효율을 좌우하는 건 모델이 아니라 하네스다

Why harnesses matter for energy (and token) efficiency

Neuralwatt가 2026년 9월 한 달간 자사 클라우드 트래픽을 분석한 결과, 에이전트 하네스가 프롬프트 캐시를 얼마나 잘 활용하느냐에 따라 GPU 에너지 소비가 크게 달라졌다. 클라이언트별 미캐시 입력 비율은 1.6%에서 11.1%까지 벌어졌고, 캐시 미스가 나면 같은 크기 요청도 에너지를 약 2배, GLM-5.3에서는 2.5배 더 쓴다. 특히 128k 토큰을 넘긴 세션에서 프롬프트 절반 이상을 다시 읽는 턴은 일반 턴 600개분의 prefill 비용을 발생시킨다. 대부분의 캐시 브레이크는 하네스가 이미 보낸 내용을 수정해 생긴 것이어서 고칠 수 있다.