Ephemeral Testing: una nueva forma de validar software con IA

El autor propone el 'ephemeral testing': en lugar de evaluar directamente un componente, se le pide a un agente de IA que construya una capa efímera sobre él y se mide qué tan bien funciona esa capa. Una API limpia y estable permite que el agente genere algo funcional; el estado oculto o la documentación incompleta generan parches y fallos. Los fallos son evidencia sobre el código base, no sobre el agente, y se puede repetir con distintos agentes y tareas.
Los fallos son evidencia sobre tu código, no sobre el agente.
- kqr
Esta es una idea interesante. En efecto, es lo que un buen ingeniero de software ya hace en su cabeza, excepto que lo hace con un compilador real.
Richard Gabriel escribió algo que se me quedó grabado:
> Las abstracciones deben diseñarse cuidadosa y expertamente, especialmente cuando se pretende reutilización o compresión. Sin embargo, dado que las abstracciones se diseñan en un contexto particular y para un propósito particular, es difícil diseñarlas anticipando todos los propósitos y olvidando todos los propósitos, que es el sello distintivo de las abstracciones bien diseñadas.
Esta es una de mis citas favoritas sobre abstracción, porque "anticipar todos los propósitos y olvidar todos los propósitos" es un resumen tan bueno de lo que conlleva el diseño de abstracciones.
Un modelo de lenguaje en un arnés agéntico no puede (todavía) hacer esto al mismo nivel que un buen ingeniero de software, pero la ventaja que tienen es la velocidad de generación de tokens, así que pueden construir realmente las cosas que el ingeniero intenta imaginar, y verificar esas cosas es más fácil. ¡Muy interesante!
- tshaw96
Una idea que he tenido durante un tiempo y que se siente similar:
- Realmente aún no hemos resuelto la ingeniería de software, es difícil saber de antemano si un diseño se adapta bien a necesidades futuras. La comunidad tiene una colección de heurísticas que a veces están en conflicto entre sí.
- Por lo tanto: escribe todos los diseños, cada uno simulado contra un árbol aleatorio de necesidades futuras.
- Elige el que minimice el diff futuro promedio.
En otras palabras, simulación de Monte Carlo para el diseño de software. Este esquema obviamente asume que el precio de producción de código se acerca aún más a cero.
- simonw
He estado usando este patrón bastante últimamente para el diseño de API, y me gusta mucho.
El gran desafío al diseñar una API es que la única forma de tener confianza en el diseño es construir un montón de cosas diferentes sobre ella. Pero, ¿por qué invertir todo ese esfuerzo en una API que no crees que esté lista todavía?
Con los agentes de codificación, el costo de construir esos prototipos cae a casi nada. Puedo ejercitar un diseño de API propuesto de cinco maneras diferentes antes de comprometerme con su forma.
- folkrav
A menos que me esté perdiendo algo, esto no ayuda a prevenir regresiones. Al final, como ya dice el autor, es una prueba de integración, ¿por qué no escribir directamente las pruebas de integración?
- olalonde
Esto no es del todo nuevo. No puedo ser el único que ha construido UIs desechables para probar APIs de backend en lugar de escribir pruebas adecuadas...