GPT-6 Astra logra un 99 % de corrección en Zstd por 1 dólar, frente a los 3,50 dólares y el 63 % de GPT-5.6 Sol
Test/verification technique effectiveness with Astra
Dan Luu repite su evaluación de técnicas de test y verificación con GPT-6 Astra y encuentra dos cambios: el modelo resuelve la implementación de Zstd del RFC con un 99 % de corrección por 1 dólar en esfuerzo medio, y ahora aplica de verdad técnicas como fuzzing o testing diferencial. En la tarea más dura, Pandoc, ninguna condición llega al 100 % y el coste ronda los 90 000 dólares. TDD vuelve a rendir por debajo de Default, mientras ACL2 y Proptest destacan.
Con Astra, los agentes cuestan 1 dólar para obtener la corrección total de los tests más del 99 % de las veces en esfuerzo medio.
- kooi
Buen post. Buena motivación para profundizar en la verificación formal. Hoy hubo ese post de Aristotle que parece un verificador plug and play basado en prompts usando Lean.
Me hace pensar que es posible la generación asistida por LLM de requisitos formales para un "Aristotle" casero.
Pensando en nuestros propios proyectos en el dominio del procesamiento de señales. Un buen camino podría ser: lenguaje humano -> especificaciones de lógica temporal para pruebas en tiempo de ejecución de caja negra y caja blanca.
Hay generadores de código que convierten lógica formal en un monitor en tiempo de ejecución. En el pasado, nunca los usé más allá de ejemplos de juguete porque son muy verbosos.
> El punto de este post es demostrar que es posible en la era de la codificación con IA seguir tomando decisiones basadas en evidencia en lugar de en vibraciones.
Esa es la diferencia entre un ingeniero y un script kiddie.
La experiencia en el dominio siempre será valiosa.
- reedf1
Lo realmente poderoso que has hecho aquí es empezar a crear una taxonomía de patrones de agentes. Dado que prácticamente todos somos ingenieros en este espacio, me sorprende la falta de ingeniería que se está llevando a cabo. La gente elige patrones que les resultan intuitivos; por diversas razones inventadas, eso está bien al principio, pero necesitamos empezar a medir objetivamente su rendimiento. Hay que decir que existe un número infinito de patrones de agentes plausibles, y deberíamos verlos todos (desde skills hasta MCP hasta Audit, lo que sea) como algo que podría correr la misma suerte que Netscape hasta que haya una justificación real.
- ArtRichards
Uso lo que yo llamaría una skill de TDD, pero no pude encontrar en ningún lugar del artículo qué querías decir con TDD. ¿Cómo le indicaste que usara TDD? ¿Por qué fue menos efectivo? Me siento aludido ;)