La IA escribe más código, pero los equipos no entregan más rápido
Why aren't we shipping faster now?
Una recopilación de estudios recientes —entre ellos un documento de trabajo del NBER y varios artículos presentados en ICSE y arXiv— examina por qué la IA no acelera la entrega de software pese a disparar la generación de código. Los hallazgos apuntan a una brecha entre actividad y resultados: la revisión, la confianza y los límites que los desarrolladores imponen a la autonomía de la IA frenan el flujo. La famosa promesa de Jensen Huang de que la IA convertiría a todos en programadores queda en entredicho.
La IA significa que todos pueden ser programadores ahora, según el director de Nvidia.
- swatcoder
Lamentablemente, este es uno de esos envíos a HN en los que la gente reacciona impulsivamente al título sin siquiera comprobar de qué va el envío. Por supuesto, no ayuda que sea una larga presentación de videoconferencia con un "folleto" que es bonito pero un poco difícil de leer por sí solo.
Sin embargo, para aquellos que realmente sienten curiosidad, el envío no es en sí mismo una postura cínica o desdeñosa. La pregunta del título es interrogativa y contextual, no retórica y universal, y la presentación intenta desglosar algunos de los cuellos de botella y desafíos que están haciendo que la integración de la IA tenga un impacto diferente en la producción de ingeniería de software de lo que algunos podrían esperar.
En lugar de sugerir que esos cuellos de botella/desafíos son universales o intratables, simplemente enumera algunos de ellos y presenta algunos análisis de encuestas sobre cuán ampliamente se encuentran.
En realidad es bastante interesante y el tipo de cosas sobre las que los ingenieros y quienes trabajan con ellos quieren reflexionar, para que puedan diseñar mejor su uso y sus procesos en torno a la propia IA.
- rbehrends
Esto es algo en lo que Brooks ya había reflexionado en "El mítico hombre-mes":
"De vez en cuando se leen relatos periodísticos sobre cómo dos programadores en un garaje reformado han construido un programa importante que supera los mejores esfuerzos de grandes equipos. Y todo programador está dispuesto a creer tales historias, porque sabe que podría construir cualquier programa mucho más rápido que las 1000 sentencias/año que se reportan para equipos industriales. ¿Por qué entonces no todos los equipos de programación industriales han sido reemplazados por dúos de garaje dedicados? Uno debe mirar lo que se está produciendo."
Brooks argumenta que la codificación que ocurría en el garaje es solo una fracción de lo que se necesita para el producto final:
"Cuesta nueve veces más. Pero es el objeto verdaderamente útil, el producto previsto de la mayoría de los esfuerzos de programación de sistemas."
Lo que estamos viendo ahora no se siente muy diferente. Puedes acelerar enormemente un primer borrador, un proyecto desde cero, un experimento, o al menos la iteración inicial de uno. Cambiar un sistema de producción en vivo o una biblioteca ampliamente utilizada es una propuesta completamente diferente.
- 9cb14c1ec0
Estoy entregando mucho más, pero no sé si nuestros clientes necesariamente lo notarían. Reescrituras totales que había que hacer pero que se estaban posponiendo debido al alcance ahora se están haciendo. Se están parcheando problemas de seguridad. El tiempo desde la apertura de un ticket de soporte hasta su resolución está bajando. Así que sí, entregando mucho más rápido para crear un proyecto mucho mejor en lugar de centrarme solo en funcionalidades.
- degreesoffun
Una dinámica que ha introducido la codificación con IA es que las funcionalidades crecen y son más "completas" o "complejas" después de su primera iteración de desarrollo en comparación con la codificación previa a la IA. Un ejemplo de esto es que recientemente construí un rastreador web para un sitio de documentación interno en mi empresa. Mi diseño para el scraping, parseo, vectorización e indexación de los datos fue mucho más complejo/completo de lo que habría sido si no hubiera usado IA. Esto se debe principalmente a mi falta de conocimiento en el área y a las limitaciones generales de tiempo para el proyecto.
Esa mayor complejidad, aunque menos costosa que antes, todavía añadió tiempo/costo al proyecto en términos de carga cognitiva y pruebas que de otro modo no habrían estado ahí si el diseño hubiera sido "más tonto". Esta noción de mayor complejidad de diseño podría considerarse una forma de la Ley de Parkinson, donde la complejidad del diseño crece para llenar el tiempo disponible.
Creo que la IA ciertamente nos está haciendo escribir código más rápido, pero ¿cuánto tiempo se está liberando realmente ahora que escribir código es más barato? Tengo la impresión de que a menudo solo estamos encontrando otras cosas para llenar ese tiempo liberado, y el aumento de la complejidad del diseño es una de ellas.
- throwitaway222
Más tickets y tickets más grandes, migraciones completas que solían llevar 4 semanas coordinando con 3 equipos ahora son un solo PR hecho en un día.
edit: si estás viendo una desaceleración en los PRs, es más probable que 10 de tus 10x'ers estén lanzando código en 3-4 cuentas más en codex por su cuenta durante su turno en 8 startups.
- choult
El entusiasmo por los LLMs ha girado en torno a la productividad de los ingenieros, no a la calidad de los proyectos. Tradicionalmente, tenemos cuellos de botella en las etapas de revisión y QA para el trabajo nuevo, y muchas organizaciones abren la manguera de código nuevo sin arreglar esos cuellos de botella.
Si quieres conducir a alta velocidad, primero tienes que construir una autopista.
- MisterPea
Siento que me estoy volviendo loco con toda la gente que cuestiona el impacto de la IA en el desarrollo de software.
Creo que la gente ya ha olvidado lo largo y arduo que era el desarrollo de software hace solo unos años.
El mayor cuello de botella ahora es CI/CD/Experimentación con respecto a la ingeniería, y la alineación de producto con respecto al negocio.
- 0xb0565e486
Lo estamos. Un mes de trabajo se convirtió en un día.