Hablamos como cavernícolas a los agentes de IA: ¿Ahorra realmente el 65% de tokens?
Does Speaking to Agents Like Cavemen Save 65% of Tokens? We Test
En JetBrains probamos la habilidad Caveman en Claude Code para verificar su promesa de ahorro. Descubrimos que, en tareas reales de agentes, el ahorro real es del 8.5%, no del 65% anunciado, sin degradar la calidad del código. Aunque el ahorro de costos es real, es frágil y depende de la varianza de cada tarea.
El ahorro anunciado del 65% pertenece a las respuestas de chat, no a los agentes de codificación.
- DougN7
No sé cómo lo veis el resto, pero la mayor parte de mi uso de tokens no es lo que yo escribo, sino esos datos que la IA está procesando por mí. Me sorprende que hayan logrado incluso una reducción del 8%.
- jpease
¿Por qué no el chino mandarín? Lo logográfico es bastante compacto.
Además, esto debería ser más preciso al hablar de «neo-cavernícola». Los cavernícolas de verdad no hablaban inglés.
- pineappletooth_
Bueno, un ahorro del 8%-10% sin una degradación de calidad medible no es nada, especialmente ahora que los modelos más nuevos parecen usar más tokens que los anteriores.
También se probó con razonamiento bajo; me habría gustado que lo probaran con niveles de razonamiento más altos.
- NitpickLawyer
Creo que es gracioso que esto funcione en cierta medida, pero, en mi opinión, ese no es el objetivo. El objetivo es que el modelo haga esto internamente en su etapa de «pensamiento». En las ocasiones muy raras en el pasado en que gpt5 filtró su verdadero pensamiento interno, el «CoT» era en sí mismo bastante similar. En lugar del «así que el usuario quiere que yo... pero espera... quizás debería... blahblah...» de código abierto, GPT5 estaba usando trazas internas como «probar x... no... probar y... no... de x sí entonces z sí...». Eso probablemente ahorra más tokens o da respuestas más rápidas, si puedes lograr que el modelo mantenga la precisión.
- mmastrac
Sospecho que esto significa que simplemente hay una ineficiencia del ~10% en el mapeo de tokens a información.