RTKが報告するトークン節約、コストベンチマークは否定
RTK reports token savings, but our cost benchmarks disagree
RTKはターミナル出力を圧縮してAIコーディングを安くすると人気だが、Terminal-Bench 2.1でClaude CodeとOpenCodeを使い$1,500以上を費やした検証では、Fableの節約は1タスクに依存し、DeepSeekではタスクあたり平均17%高くなった。`rtk gain`は削除した出力を数えるだけで、実際の請求額を反映しない。
大規模なトークン節約の報告は、タスクが安くなったことを意味しなかった。
HNでの議論
60- aeneas_ory
こういう「ハック」は全部インチキで、心の底ではみんな分かってると思うんだよね。cavemanであれRTKであれ、その他どんなバイブコーディング的な生産性向上／トークンコスト削減のハック／スキル／claude.mdであれ。
俺がうまくいったのは（ベンチマークは古いけど）、専用のローカルコード埋め込みモデルでコードベースをインデックス化する方法だ。CPU側のコストはそこそこかかるけど、俺のベンチマークではトークン使用量と実時間が大幅に減った。もちろん、常に統計的なノイズとホストシステムの負荷に左右されるし、十分な規模のベンチマークを走らせるのは単純に高すぎるから、鵜呑みにはしないほうがいい。
なぜうまくいくのかって？まあ、LLMは基本的に単語やフレーズを力任せに総当たりして、それをfind/grep/pgrep/その他（あるいは最近ここで議論されてたように、そのためのPythonスクリプトを書く - https://news.ycombinator.com/item?id=49654229）に流し込む。セマンティック検索は類似性を探すから、力任せの総当たりを減らせる。もちろんその代わりに、まず全部をインデックス化するコストがかかる。
プロジェクトはここにある：https://github.com/ory/lumen
- ProjectBarks
こういうツールのほとんどは、ほぼベーパーウェアって感じだね。HeadroomとRTKで行われたベンチマークを見ると、どちらも実際の節約にはなっていない。もしこんなに単純な前処理ステップで可能なら、なぜAIラボがその最適化を自分たちでアップストリームしないんだろう？
俺の推測では、ほとんど機能しないか、モデルの挙動をずっと混乱させるかのどちらかだ。こういうのには何らかの独立したベンチマークが本当に必要だと思う。
こうしたツールで全く同じ問題を示している他の事例はこちら：
https://blog.jetbrains.com/ai/2026/07/rtk-claude-code-token-...
https://brandonbarker.me/writing/headroom-fewer-tokens-bigge...
- oefrha
rtk gainの出力を一度でもまともに見たことがある人なら、ベンチマークなんて全く必要なく、あまりにも明らかだよ。エージェントが
rtk command-that-prints-100k-tokens | tail -5
を実行すると、rtkなしなら5行、おそらく100トークン程度のコストなのに、rtkは10万トークンの節約を報告する。もちろん、rtkはそのtail -5のことを知らないからね。
さらに悪いことに、rtkはデフォルトでその節約統計を永続化するので、サンドボックス化を壊してしまう。rtkを前置すると、時々ランダムにauto-modeの拒否が起きる（これは節約統計の永続化を無効にしても関係なく起きる）。
正直なところ、CLIについて初歩的な知識がある人がなぜrtk gainを真に受けるのか全く理解できない。ターミナルでまともに作業したことがほとんどない無知なバイブコーダーが、その統計を見て気分良くなってるだけなんじゃないかな？
とはいえ、rtkは繰り返しのテスト実行出力などを圧縮するのにはまだ多少役立つ。でもホワイトリスト化されたコマンドにだけ使うべきで、彼らが推奨するように全部をラップするのはただの愚かさだ。
- kriskrunch
オープンな疑問なんだけど、agent-rules.mdにこう書くのはどうかな？
「大きな／未知のコマンド出力を制限する：`COMMAND 2>&1 | head -c 4000`。完全なログ、テスト、大きなファイルを決してストリームしないこと。」
俺はRTKの代わりにこれを使ってる。経験的には、RTKは似たようなタスクを完了するのにエージェントの実行時間を長くしてしまうと分かった。PonytailとCavemanは多少は役立つようだ。
- stephantul
少しでも現実的に考えられる人なら、ほとんどの技術は誇大広告だったり、非常に有利な条件で評価されていたりするものだと分かっていると思う。
もちろんこれは良いことではないけど、こんなことが起きていることに驚いているふりをするのは少し不要に感じる。
とはいえ：ほとんどのツールは役に立たない。