同じモデルでもハーネス次第でエネルギー消費が2倍に — キャッシュミスの実態

Why harnesses matter for energy (and token) efficiency

NeuralwattのCEO Chad Gibson氏が、1ヶ月のトラフィックを分析し、エージェントハーネスがプロンプトキャッシュの効率を大きく左右することを明らかにした。クライアントによる未キャッシュ入力の割合は1.6%から11.1%まで開きがあり、キャッシュミスはリクエストのエネルギーを約2倍に、GLM-5.3では2.5倍に増やす。特に128kトークンを超える深いセッションでは、1ターンの再読み込みが通常の約600ターン分のプリフィルコストに達する。原因の多くはハーネスが既送信のプロンプトを編集することにあり、改善可能だという。