GPT-6 Astra detecta un 33% más de bugs en revisiones de código complejas
GPT-6 Astra in code review: Gains, privacy, and cost
CodeRabbit evaluó a GPT-6 Astra de OpenAI en revisiones de código y encontró que detecta un 22% más de bugs accionables que Opus 5 y un 4% más que GPT-5.6 Sol. La mayor ventaja se da en revisiones entre archivos, donde supera a Sol por 20% y a Opus 5 por 33%. El análisis también cubre los costos: Astra cuesta $10 por millón de tokens de entrada y $50 por millón de salida, 2.5 veces más que Sol. Además, se usó Astra para crear el juego NIGHTSHIFT, destacando su capacidad para razonar sobre cambios interconectados. CodeRabbit subraya la importancia de la privacidad y la retención de datos.
En nuestra evaluación, Astra detectó aproximadamente un 4% más de bugs etiquetados mediante hallazgos accionables que GPT-5.6 Sol, y un 22% más que Opus 5.
- eyalitki
La comparación se hizo en el ámbito de la herramienta de revisión de código con IA coderabbit, lo que lamentablemente la hace prácticamente irrelevante. Mi experiencia personal como ingeniero de software y ex investigador de seguridad que hacía auditorías de código manuales es que esta herramienta de revisión de código tiene resultados tan pobres que no vale la pena el "ruido" y la fricción que causa a los desarrolladores durante la revisión de código en CI.
- sdeframond
¿Cómo revisáis el código generado por IA? En nuestro equipo, el trabajo de frontend lo hace el product owner con vibe-coding y se fusiona tal cual sin revisión. El backend lo desarrollan los desarrolladores, usando IA pero de una forma más lenta y controlada. Recientemente, nuestro product owner ha estado probando a hacer vibe-coding del backend. Debo decir que es un tipo inteligente, casi técnico pero no del todo desarrollador. Acabamos de recibir una ráfaga de PRs apilados que suman unas 15k líneas de código de backend. No sabemos muy bien qué hacer al respecto. Sé que no somos los únicos en esta situación. ¿Cuál es vuestra experiencia y contexto? ¿Qué hacéis? ¿Qué os funciona y qué no?
- ramon156
Tanto OpenAI como Anthropic parecen haber lanzado un modelo que es ligeramente mejor pero cuesta aproximadamente el doble que la iteración anterior. Jugada interesante.
- SneakyZero
Astra parece ser realmente lento. Quizá pretende leer más contexto. Pero por mi experiencia, es definitivamente más lento que 5.6 sol al manejar las mismas tareas.
- dude250711
Dado que Fable es un modelo de clase Sol, ¿no debería compararse Astra con Mythos en esas pruebas?