RTK verspricht 90 % Token-Ersparnis – doch unsere Benchmarks zeigen das Gegenteil
RTK reports token savings, but our cost benchmarks disagree
RTK (Rust Token Killer) komprimiert Terminal-Ausgaben, bevor der AI-Agent sie liest. Über 79.000 GitHub-Sterne und Berichte von bis zu 90 % Token-Einsparung machen es zum Hoffnungsträger für günstigeres AI-Coding. Doch ein Test auf Terminal-Bench 2.1 mit Claude Code und OpenCode über 1.740 Versuche und 1.500 US-Dollar Token-Kosten zeigt: Die Ersparnis hängt von einem einzigen Task ab, DeepSeek-Kosten stiegen um 17 %, und `rtk gain` zählt gesparte Bytes, nicht gespartes Geld.
Große gemeldete Token-Ersparnisse bedeuteten nicht günstigere Tasks.
- aeneas_ory
All diese "Hacks" sind Schlangenöl, und ich glaube, tief im Inneren wissen wir das alle. Ob es nun caveman, RTK oder irgendein anderer vibe-codierter Produktivitäts-/Token-Kosten-Spar-Hack/Skill/claude.md ist.
Was bei mir funktioniert hat (obwohl die Benchmarks älter sind), ist, die Codebase mit einem dedizierten lokalen Code-Embedding-Modell zu indexieren. Das ist auf der CPU-Seite etwas teuer, aber in meinen Benchmarks hat es den Tokenverbrauch und die Wall-Clock-Zeit deutlich reduziert. Natürlich hängt das immer von statistischem Rauschen + Host-Systemlast ab, und ausreichend große Benchmarks laufen zu lassen ist einfach zu teuer, also nimm sie mit Vorsicht zur Kenntnis.
Warum funktioniert es, magst du fragen? Nun, LLMs brute-forcen im Grunde Wörter/Phrasen und leiten das in find/grep/pgrep/whatever weiter (oder schreiben, wie hier kürzlich diskutiert, ein Python-Skript dafür - https://news.ycombinator.com/item?id=49654229). Semantische Suche sucht nach Ähnlichkeiten, also muss man weniger brute-forcen. Das kommt natürlich auf Kosten davon, dass man zuerst alles indexieren muss.
Das Projekt findet ihr hier: https://github.com/ory/lumen
- ProjectBarks
Es scheint, als wären die meisten dieser Tools größtenteils Vaporware. Benchmarks, die mit Headroom und RTK durchgeführt wurden, zeigen, dass keines von beiden echte Einsparungen bringt. Wenn es möglich wäre, einen so einfachen Vorverarbeitungsschritt zu haben, warum würden die AI-Labs die Optimierungen dann nicht selbst upstreamen?
Meine Vermutung ist, dass sie größtenteils nicht funktionieren oder das Verhalten für das Modell viel verwirrender machen. Ich denke wirklich, es braucht eine Art unabhängigen Benchmark.
Hier sind weitere Fälle, die genau dieselben Probleme mit dieser Art von Tools zeigen:
https://blog.jetbrains.com/ai/2026/07/rtk-claude-code-token-...
https://brandonbarker.me/writing/headroom-fewer-tokens-bigge...
- oefrha
Es ist ziemlich verdammt offensichtlich für jeden, der sich jemals die Mühe gemacht hat, sich die Ausgabe von rtk gain anzusehen, da braucht man überhaupt keinen Benchmark. Der Agent führt aus
rtk command-that-prints-100k-tokens | tail -5
kostet 5 Zeilen, vielleicht 100 Tokens ohne rtk, aber rtk wird 100k Einsparungen melden. Natürlich weiß es nichts von diesem tail -5.
Schlimmer noch: Da rtk standardmäßig diese Einsparungsstatistik persistiert, bricht es das Sandboxing. Ein Präfix mit rtk führt auch von Zeit zu Zeit zu zufälligen Auto-Mode-Ablehnungen (das ist unabhängig davon, ob man die Persistenz der Einsparungsstatistik deaktiviert).
Ehrlich gesagt habe ich keine Ahnung, warum irgendjemand, der auch nur das Geringste über CLIs weiß, rtk gain ernst nehmen sollte. Ich schätze, ahnungslose Vibe-Coder, die kaum jemals in einem Terminal gearbeitet haben, schauen sich die Statistik an und fühlen sich gut dabei?
Allerdings ist rtk immer noch einigermaßen nützlich, um wiederholte Testlauf-Ausgaben und so weiter zu komprimieren, aber man sollte es nur bei Whitelist-Befehlen verwenden; alles so zu wrappen, wie sie es vorschlagen, ist einfach nur dumm.
- kriskrunch
Offene Frage: Wie sieht diese Anweisung in agent-rules.md aus?
"Cap large/unknown command output: `COMMAND 2>&1 | head -c 4000`. Never stream full logs, tests, or large files."
Ich benutze das statt RTK. Empirisch habe ich festgestellt, dass RTK meine Agenten länger laufen lässt, um ähnliche Aufgaben zu erledigen.
Ponytail und Caveman scheinen etwas zu helfen.
- gillesjacobs
Wichtigste Erkenntnis:
Durchschnittliche Kosten pro Versuch, ohne → mit RTK:
Claude/Fable: $1.72 → $1.64 (~5% günstiger)
DeepSeek: $0.115 → $0.121 (~5% teurer)
Fast alle Claude-Einsparungen kamen von einer einzigen Aufgabe.
Ohne diese lagen die Einsparungen unter 1%.
Ich musste ein paar Mal nachlesen, um die Kernaussage zu verstehen.
Dieser Artikel vergräbt wirklich die wichtigste Aussage.