El efecto Waymo: cómo la IA está haciendo la investigación menos colaborativa

Trabajo en una intersección de tecnología, investigación aplicada y ciencia.

Algo que he notado en la colaboración que sí ocurre es una mayor confianza de las personas fuera de sus dominios para decir cosas con convicción. Tengo personas con experiencia limitada en software que publican capas y capas de código abstraído bastante sofisticado pero a menudo mal encaminado en su intención, que dirán que lo que hacen es correcto, con convicción.

También escucho mucho más cuestionar a las personas en sus dominios y desafiar opiniones, y luego escucho lo que solo puedo imaginar son fragmentos de conversaciones que tuvieron con un LLM pensando en algún argumento. Luego hay silencio cuando discutes las deficiencias, y luego vuelven más tarde con sus fragmentos memorizados de lo que dijiste, combinados con fragmentos memorizados de la respuesta del LLM al argumento.

Está ocurriendo, mucho más. La gente está tratando a sus LLMs en colaboración como una fuente de verdad y usándolos para enfocarse en su camino específico u objetivos que creen o tienen sesgo hacia seguir, en lugar de simplemente discutir abiertamente las cosas, considerar los tradeoffs desde múltiples disciplinas de expertos y luego tomar un enfoque que todos encuentren más aceptable.

Me está dando ganas de ser mucho menos colaborativo con tales individuos. No quiero sentarme a refutar salidas de texto de Claude todo el día.

La IA es extremadamente útil, pero también es extremadamente fácil engañarte a ti mismo pensando que entiendes lo que está pasando sin realmente entenderlo. Esto a menudo es cierto con el código, pero también con conceptos de matemáticas y ciencia, etc.

No muchas profesiones están formalmente entrenadas para ser conscientes de esta falta de comprensión, y cómo confrontarla.

El uso de IA en entornos colaborativos es un amplificador de estos problemas, especialmente si alguien no se da cuenta de que no entiende: no podrían enseñar o explicar los conceptos que usan, o ser forzados a trabajar con ellos de manera maleable como lo haría un experto o investigador.

Si eres consciente de tu falta de comprensión, puedes remediarlo desacelerando y enseñándote a ti mismo. ¡Esto es necesario para hacer un mejor uso de la IA en el dominio de interés!

Pero no puedes tener todo a la vez: no puedes avanzar a velocidad con IA, colaborar efectivamente y entender lo que está pasando como lo haría un experto. No es físicamente posible para un cerebro humano.

Me pregunto si la IA nos está volviendo más tontos

Puedo hacer que la IA extraiga algún análisis - consulta SQL, procese algunos números y bam, algún número que suena preciso.

Pero luego lo cuestiono, y luego dice "tienes razón, no verifiqué eso"

¿Cómo supe qué cuestionar? Haciendo el trabajo de fricción de consultar yo mismo, calcular yo mismo, y luego recibiendo preguntas del liderazgo.

Me preocupa la generación más joven. Escupen resultados de Claude rápido, la gente lo cuestiona y dicen "ok, llevaré eso de vuelta a Claude".

Supongo que eventualmente aprenderán a hacer su propia verificación de sentido porque todavía tienen la fricción de presentar a otros.

Y tal vez mi modelo es cosa del pasado. Todos ahora van a ser un gerente (de agentes) recién salidos de la escuela. Ya no hacen el trabajo, pero necesitarán establecer metas claras, validar el trabajo y responsabilizar a los agentes.

La noción de que "cada interacción humana vale la pena preservar" probablemente no es correcta, y los Waymos lo están demostrando. Como menciona el autor, a muchas personas no les gusta la charla forzada con los conductores de Uber. Interactuar con personas de diferentes orígenes y perspectivas es importante, pero dudo que las interacciones forzadas como los viajes en taxi sean donde las obteníamos hasta ahora.

Creo que el problema es el mismo que con cualquier tecnología: usada correctamente añade valor, usada incorrectamente lo resta.

Los LLMs pueden acelerar masivamente un proceso, pero sin control pueden convertirse en "fuentes de verdad" sociales. Un proceso de investigación tiene fases bien definidas y bien fundamentadas: delimitas el tema, buscas fuentes, evalúas si son adecuadas, revisas su contenido y las colocas en el mapa del tema. Cuantas más fuentes, mayor el conocimiento, y mejor se construye el resultado final —mental o en forma de informe—. Para eso hay que leer, y releer, y pensar, conectar, relacionar y concluir.

La IA puede hacer todos esos pasos más rápido que un humano. Pero si la dejamos hacer todo el trabajo por sí sola, a su manera, sin controles en cada etapa, las conclusiones pueden terminar distorsionadas. Si sabemos qué queremos que haga y cómo queremos que se haga, y ponemos los mecanismos para hacerlo cumplir, el resultado es diferente —mejor, más confiable—. Vale la pena recordar: es solo una herramienta, nada más.

La redacción de este comentario en inglés ha sido corregida con IA, no tengo suficiente fluidez para expresarme claramente, pero sí reviso el resultado final. En este caso se equivocó con los tiempos verbales, lo vi claramente, pero la IA no lo entendió, me tomó varias instrucciones explicárselo para que lo entendiera. Es una herramienta, sin supervisión puede llevar a problemas, pero ha ampliado el mundo para mucha gente.

Estoy viendo esto en un proyecto de investigación académica actual también: es como echar leña al fuego para todas las mejores y peores partes de trabajar con investigadores.

Primero: definitivamente se ha vuelto más difícil lograr que las personas integren su trabajo y usen herramientas estándar. Estamos explorando crear habilidades de IA, etc., para nuestras herramientas, simplemente porque la audiencia real a la que necesitamos convencer no está en la sala. Si el LLM no repite nuestras recomendaciones, la gente seguirá cualquier script único que su oso de las malas ideas personal genere. Muchos errores de software de investigación son casos límite (escalado, errores numéricos, etc.), y el síndrome de "funciona en mi computadora" es endémico en la literatura. El campo ha dado grandes pasos para habilitar la reproducibilidad computacional, pero últimamente parece que estamos listos para perder terreno de nuevo.

Segundo: los LLMs tienen un sesgo hacia la acción, y pueden fácilmente enterrar lo que el usuario informa sobre lo que sea. He visto múltiples seminarios recientemente donde el Q&A degenera en "P: ¿Cuáles son las implicaciones de este hallazgo? R: No lo sé, esto es solo presentar un informe sobre los resultados".

Parece que los humanos todavía están descubriendo cómo mantener la agencia y dirigir el chatbot hacia el panorama general, y la ciencia no revisable es tan probable como el código no revisable... pero con muchas menos herramientas automatizadas para ayudar a guiar el proceso.

Históricamente, los PIs guiaban nominalmente el panorama general, y la entidad que hacía el trabajo era un participante en el proceso de revisión; ahora los estudiantes tienen que mirar los proyectos desde un nuevo ángulo co […]

Creo que esta noción de fricción vs sin fricción es una de las características clave de este momento en la historia.

A mi parecer, toda la línea desde la tecnología personal en los 80 -> a través de la UX en internet -> a través del bloqueo de plataformas de aplicaciones -> hasta la "propiedad" centrada en suscripciones nos ha estado proporcionando a todos la promesa de que podemos comprar nuestro camino hacia menos fricción. El próximo dispositivo o suscripción resuelve problemas o nos habilita de una forma u otra. Vemos esta línea de la historia, la proyectamos hacia el futuro y vemos un futuro utópico con cero fricción.

Cero fricción significa cero diferencia entre cómo quieres sentirte sobre el mundo y lo que obtienes de él. Más sentirse empoderado o satisfecho o cómodo o correcto.

Las partes de nuestra cultura que abrazan la fricción son las partes lentas: quejarse con los vecinos, desherbar un jardín, dejar pasar primero al otro coche. Estas son las partes donde nos encontramos con la realidad de otras personas o la naturaleza. Quizás haya una herramienta o marco o gadget que podría ayudar, pero sabemos y aceptamos que hay algo inmutable fuera de nosotros y tenemos que encontrar una manera de fluir con ello.

Estoy envejeciendo, finalmente estoy empezando a ver los límites de perseguir una vida sin fricción.