El 84% de las respuestas de la IA cambió en solo un día

We asked AI the same 210 buying questions 2 days in a row,84% of answers changed

Supercite repitió 210 preguntas de compra en ChatGPT, Gemini, Google AI Overviews y Google AI Mode dos días consecutivos. El 84% de las respuestas nombró un conjunto distinto de marcas; en Gemini llegó al 95%. El 27% de las marcas desapareció al día siguiente y solo el 42% de las páginas citadas se repitió. La conclusión: una sola consulta no sirve para medir la visibilidad de una marca.

Una respuesta de IA no es un ranking fijo. Es un resumen de unas pocas páginas, elegidas de nuevo cada vez.
  1. ryanisnan

    No creo que esto sea intrínsecamente sorprendente.

    Si nos fijamos en las preguntas que hicieron, son bastante amplias. En mi experiencia, parte del valor de los LLM proviene de su aleatoriedad, pero hay que entenderlo como una virtud característica de estas herramientas y adaptarse en consecuencia.

    Hacer preguntas con alcances acotados, restricciones claras y resultados específicos siempre da mejores resultados, en mi opinión.

  2. mentalgear

    La gente piensa que la "IA" tiene todos los hechos para tomar decisiones objetivas, pero parece reducirse a (¿otra vez SEO?) qué páginas devolvió su motor de búsqueda ese día.

    > Si no eres un líder, esta es la parte que importa. Tu visibilidad depende de qué páginas lea el motor ese día. La forma de hacerlo estable es estar en más de esas páginas.

    En última instancia, se necesita un grafo de conocimiento de hechos reales independiente de las menciones.

  3. hnlmorg

    Lo único que demuestras es que cualquier dominio específico tendrá una docena de soluciones maduras.

    Lo que separa un producto de otro van a ser las restricciones específicas del proyecto en el que lo integras. Y nada de eso está definido en tus prompts. Así que efectivamente solo le estás pidiendo a un LLM que lance los dados y elija algo al azar, y luego te sorprendes de que signifique una respuesta diferente cada vez.

    Edición: sus conclusiones al final del artículo pasan por alto el punto más importante. Hablan de preguntar varias veces durante varios días, pero eso es solo repetir el ciclo de "basura entra -> basura sale" sin abordar la causa raíz del problema: no definir tus requisitos adecuadamente.

    Y si no tienes ningún requisito más allá de "algo barato" (por ejemplo), entonces a quién le importa qué respuesta obtengas cuando cualquier resultado es igualmente válido para tu caso de uso.

  4. seabre

    Si la salida de un LLM es estocástica, ¿por qué esperarías que no cambie con preguntas que no tienen respuestas establecidas?

  5. luisfominaya

    En general, parece que los LLM tienen un problema fundamental con el ruido en sus salidas, de modo que la aleatoriedad (qué datos extraen y cómo los agregan) tiene un impacto desmesurado cuando se les piden opiniones/recomendaciones/pronósticos.

Más de este día

2026-11-18