La IA da el mismo consejo a todo el mundo
AI is giving everyone the same advice
Un experimento con 65 IA de 30 empresas, 127.918 consultas en total, revela una homogeneidad asombrosa: al pedir un libro que cambie la vida, 73 de cada 100 respuestas coinciden en 'El hombre en busca de sentido'; para invertir 10.000 dólares, el 98% sugiere un fondo indexado; al inventar una persona, el 69% tiene exactamente 34 años. La variedad solo aparece dentro de un mismo chat, no entre conversaciones nuevas. El sesgo se adquiere durante el entrenamiento como asistente, y cada laboratorio deja una firma reconocible en sus respuestas.
En un chat, cada IA parecía original. En chats nuevos, cada IA daba el mismo libro.
- mannyv
La IA está cayendo en la trampa de la búsqueda, donde todo es determinista. Y tiene sentido; cuando buscas, quieres la misma respuesta cada vez.
Puedes desactivar eso con la personalización, hasta cierto punto. Pero a cierto nivel tu consulta es una canica rodando por una serie de rampas, y las rampas grandes son las que tu canica probablemente tomará.
- BiraIgnacio
Hace mucho tiempo probé Claude, ChatGPT y Gemini para explorar algunas recetas de repostería diferentes.
Cuando pregunté sobre el uso de edulcorantes, todos me dijeron que un tipo particular funciona mejor cuando se mezcla con otros líquidos.
Noté que todos usaron prácticamente la misma frase. Cuando pregunté por qué, ninguno de los modelos dio una buena explicación.
Luego descubrí que algunos sitios web proporcionaban exactamente las mismas instrucciones, también sin una buena explicación de por qué.
En fin, una larga historia que me causó tanto diversión como miedo por la poca información que puede tener tanto peso en un modelo.
- q17
En realidad, esta es una entrada de blog decente a pesar de algunos síntomas de estar ligeramente escrita por IA.
Una cosa que me daría curiosidad es el efecto de top p, top k y temperature, ya que estos son el origen de cualquier diferencia entre respuestas a prompts idénticos.
- bigdict
Si haces una pregunta genérica sin contexto, obtienes una respuesta genérica de "máxima verosimilitud". ¿Eso es sorprendente?
- xg15
> Le pregunté a 65 IAs las cosas que la gente les pregunta todos los días
¿Y cómo se supone que los modelos sepan eso? No creo que los laboratorios entreguen el acceso a sus propias estadísticas de uso tan fácilmente.