La normalización de los fallos inexplicables: cuando la IA hace que 'la cosa apesta' sea la respuesta aceptada

Excelente artículo. La gente siempre defiende el desarrollo agéntico/basado en LLM diciendo: "Bueno, es suficientemente bueno", o "Funciona la mayor parte del tiempo".

Eso puede ser tolerable para alguna app de cara al usuario. Pero ¿y si empezamos a normalizar los fallos en las librerías, la infraestructura y los compiladores? Todo degenera en un desastre de falta de fiabilidad, y eso ralentiza TODO y a TODOS.

> Cuando un botón se rompe en un sitio web, tengo un modelo de lo que debería haber pasado. En algún lugar se rompió un contrato. [...] Puede que no tenga acceso para depurar solo un estado HTTP 500, pero espero que haya alguien cuyo trabajo sea entender por qué el endpoint está devolviendo 500. La propiedad está bien definida aunque sea opaca³.

> Sin embargo, para muchos usuarios, la experiencia real es más o menos solo "esta mierda apesta". El software ya se siente caprichoso; más fallos solo cambian la tasa de frustración.

Apuesto a que el autor no usa mucho los servicios en la nube. No son solo "usuarios", también son desarrolladores. ¿Github devuelve 5xx? ¿Un servicio de AWS no funciona? ¿Tu correo no se entregó? No hay nada que nosotros (los desarrolladores) podamos hacer, "esta mierda apesta".

> Esto lleva a una normalización de lo inexplicable.

También está estrechamente relacionado con una normalización de la falta de responsabilidad.

> Esto no es "obtener una cuenta FTP, montarla localmente con curlftpfs y luego usar SVN o CVS en el sistema de archivos montado" -- todavía tienes que hacer la parte difícil.

Probablemente a estas alturas esté perdiendo a la parte más joven de la audiencia. ;)

Las "puntuaciones de confianza" siempre han implicado un significado antropocéntrico que no existe. Un algoritmo no tiene "confianza" de la forma en que una persona tiene confianza, pero en cuanto pones algo con ese nombre delante de un empresario, asume que el número siempre es una "curva de calificaciones con letras" significativa o un "porcentaje universal". Sigo creyendo firmemente que la vieja cita de "hay mentiras, malditas mentiras y luego estadísticas" sigue siendo clave para entender por qué el ML está llevando a resultados tontos en lugar de hype. La gente no entiende las estadísticas, así que las máquinas que no producen más que estadísticas confunden especialmente a la gente. (Creo que esto también se aplica a los LLM).

La "normalización de lo inexplicable" es ciertamente indignante. Siempre ha sido mala en lo que respecta al software informático, y cada vez se está colando más en otros productos de consumo que dependen de software embebido.

Compré un coche eléctrico nuevo hace poco. En general, he estado bastante contento con él. Poco después de comprarlo, empezó a aparecer un mensaje de advertencia que decía "revisar sistema EV" cada vez que lo arrancaba. Para cuando lo llevé al concesionario, la advertencia había desaparecido, y el técnico me dijo algo así como "eh, supongo que a veces hace eso, avísanos si vuelve a pasar". ¿Fallo de hardware? ¿Bug de software? ¿Quién sabe?

Como la mayoría de los coches modernos, tiene conectividad y Google Maps integrados en el sistema de infoentretenimiento. La gran mayoría del tiempo, funciona bien. A veces dice que no tiene conectividad (lo que significa que no hay datos de tráfico y las rutas son subóptimas) durante todo un trayecto, incluso en zonas con buena señal celular donde normalmente funciona bien. A veces el coche dice que tiene conectividad, pero Google Maps sigue pensando que está offline. A veces Maps carga y muestra una ruta, pero el botón "iniciar navegación" se queda girando para siempre como si siguiera esperando algo. ¿Están relacionados estos problemas? ¿Hay una causa común que podría solucionarse? ¿Quién sabe?

(Convenientemente, la garantía específicamente no cubre ningún fallo de software o firmware en funcionar correctamente).

He validado la puntuación de confianza de Jev. La precisión escala linealmente con la confianza para los 3 casos de uso que probé. >.9 coincidía con un etiquetador humano. Descubrí inmediatamente un comportamiento de usuario que no esperaba por ~$3. Ahora puedo mitigarlo en tiempo real gracias al bajo coste y la latencia. Esto puede tener un gran impacto financiero positivo para todos nuestros clientes.

No sé por qué alguien sentiría la necesidad de criticar esto sin mostrar un ejemplo real de fallo.

Si pasas más tiempo con un producto, es más probable que elijas volver a hacerlo, aunque sea por un fallo o una molestia. Lo justificarías de alguna manera (ahora tengo ventaja o algo así). Esto también se aplica a mirar cosas; una caja de colores vivos en la estantería del supermercado simplemente tiene más probabilidades de ser elegida porque la miras primero y durante más tiempo.

Hacerte perder tu tiempo y tus recursos es un signo de poder, pero conseguir que desperdicies tu propio tiempo y tus propios recursos es hegemonía.