Los productos de IA no se toman en serio a sí mismos
What Would a Serious AI Product Look Like?
El autor sostiene que las herramientas de IA actuales, desde chatbots hasta asistentes de código, carecen de funciones esenciales para un trabajo serio: verificación de errores integrada, citas legibles y verificables, interfaces específicas para tareas, procedencia de datos clara y control de reproducibilidad. Sin estas mejoras, dice, no son productos reales sino una estafa que simula capacidades que no tiene.
Si tu producto me dice que comete errores y que yo debo ser quien los compruebe, pero luego no me da ninguna herramienta para comprobarlos, no puedo tomármelo en serio.
- ramity
Estoy muy agradecido por la sección sobre reproducibilidad. Sostengo que este es el mayor obstáculo para todo el campo. PUEDES tener temperatura y determinismo. Llevo seis años esperando que un proveedor importante lo ofrezca, hay demanda, pero poco a poco me he dado cuenta de que la teoría de juegos actual no lo respalda.
Para los proveedores, no admitir una evaluación determinista significa:
- los usuarios usan más tokens = más dinero
- los proveedores pueden generar más tokens por cómputo = más dinero
- los proveedores tienen opciones de hardware más baratas (GPUs) = más dinero
- los modelos de los proveedores son más difíciles de extraer/destilar = más dinero
- es más difícil responsabilizar a los proveedores por las salidas = más dinero
- los proveedores pueden usar otros modelos en secreto = más dinero
- es más difícil comparar a los proveedores con otros = más dinero
- los proveedores pueden seleccionar los resultados de rendimiento = más dinero
- awakeasleep
He estado dándole vueltas al problema de la "salida en primera persona".
Estoy totalmente de acuerdo con el autor en que es una interfaz incoherente para una herramienta. Pero más que eso, es un recordatorio irritante y constante de que estos LLM en realidad no piensan ni sintetizan ideas nuevas. El LLM fundamentalmente no es una persona, y no tiene el contexto de un humano, así que representarse a sí mismo con pronombres y patrones de habla humanos es fundamentalmente contradictorio e inexacto. El autor lo aborda con las disculpas, pero una vez que empiezas a notarlo, está en todas partes.
Si estos programas fueran realmente capaces de pensar, y se comprometieran con la veracidad, se representarían a sí mismos de una manera nueva, y sería perspicaz e interesante. Nosotros, los usuarios, no tendríamos un lenguaje cómodo y engañoso que enmascare la 'inteligencia alienígena', y sería un ajuste extraño, pero nos estaríamos ajustando en lugar de fingir.
- dofm
Lo de "la IA puede cometer errores, así que verifica las respuestas" es la esencia de nuestro futuro infernal: software determinista reemplazado por IA y exenciones de responsabilidad legales.
La razón por la que las empresas no quieren invertir en hacer de la verificación de hechos una característica de primera clase es que la apariencia de tener razón es lo que la gente quiere de la IA.
- sligbad
Una lectura realmente refrescante. Esto resulta evidente en muchas de estas cosas, y los métodos para hacer que las cosas "se comporten" simplemente añadiendo prompts de markdown adicionales en varios niveles es tanto ridículo como ineficaz.
- julesrms
Buena lectura. Creo que hay mucha gente que está llegando a este punto de querer sacudirse los aspectos novedosos de la experiencia de codificación con agentes y hacer que todo sea un poco más maduro.
El tema del control del contexto siempre ha sido mi comezón. El scrollback que muestran la mayoría de los agentes no es lo que el modelo está leyendo. Las cosas se resumen, se descartan, se almacenan en caché o nunca se incluyen en absoluto, y la transcripción sigue mostrando el original como si todavía estuviera allí.
Me molestó lo suficiente como para hacer mi propio agente: https://juggler.studio, explícitamente para ofrecer un manejo práctico del contexto real. La UX se centra en facilitar la navegación y visualización de cada parte del contexto, e incluso permitirte editarlo. Mientras que parece que otros harnesses están tratando activamente de ocultárnoslo.