Claude-Modelle laufen oft günstiger und besser außerhalb von Claude Code
HarnessTax: How Much Does the Harness Matter for Coding Agents?
Eine UC-Berkeley-Studie vergleicht 21 Modell-Harness-Kombinationen auf SWE-bench Lite und Terminal-Bench 2.0. Überraschend: Die Wahl des Harness beeinflusst die Erfolgsrate kaum, aber die Kosten erheblich – dasselbe Modell kann bei ähnlicher Leistung bis zu fünfmal teurer sein. Das minimale Open-Source-Harness Pi ist konkurrenzfähig, und Modelle schneiden häufig mit fremden Harnesses besser ab als mit dem eigenen.
Über alle sieben Modelle hinweg ist der mittlere initiale Kontext von Claude Code mehr als zehnmal so groß wie der von Pi, mit längeren Anweisungen und größeren Tool-Schemas.