AI에 같은 질문을 이틀 연속 물었더니 84%의 답이 바뀌었다

We asked AI the same 210 buying questions 2 days in a row,84% of answers changed

210개의 구매 관련 질문을 ChatGPT, Gemini, Google AI Overviews, Google AI Mode에 하루 간격으로 두 번 물어 비교했다. 84%의 답에서 언급된 브랜드 조합이 달라졌고, 첫날 언급된 브랜드의 27%는 다음 날 사라졌다. 1위 브랜드는 90% 확률로 다시 언급됐지만 1위를 유지한 경우는 63%에 그쳤다. AI가 인용한 페이지도 42%만 동일했다. AI 추천은 고정된 순위가 아니라 매번 새로 읽는 몇 개 페이지의 요약임을 보여준다.

AI 답변은 고정된 순위가 아니다. 매번 새로 선택되는 몇 개 페이지의 요약이다.
  1. ryanisnan

    이게 본질적으로 놀라운 일이라고 생각하지 않는다.

    그들이 던진 질문들을 보면 꽤 범위가 넓다. 내 경험상 LLM의 가치 중 일부는 바로 그 무작위성에서 나오는데, 이를 이런 도구의 특성상 장점으로 이해하고 그에 맞게 적응해야 한다.

    범위를 좁히고, 제약을 명확히 하고, 결과물을 구체적으로 지정한 질문을 하면 항상 더 나은 결과가 나온다고 생각한다.

  2. mentalgear

    사람들은 "AI"가 객관적인 결정을 내릴 모든 사실을 갖고 있다고 생각하지만, 결국 그날 검색 엔진이 어떤 페이지를 반환했는지로 귀결되는 것 같다(또 SEO인가?).

    > 당신이 리더가 아니라면, 이 부분이 중요한 대목이다. 당신의 가시성은 그날 엔진이 어떤 페이지를 읽는지에 달려 있다. 이를 안정적으로 만드는 방법은 그런 페이지들에 더 많이 올라가는 것이다.

    궁극적으로는 언급과 무관한 진짜 사실 지식 그래프가 필요하다.

  3. hnlmorg

    당신이 증명하는 것은 특정 도메인이라면 어디든 성숙한 해법이 열두 개쯤 있다는 것뿐이다.

    한 제품을 다른 제품과 구분 짓는 것은 이걸 통합하려는 프로젝트에 특정된 제약들이다. 그리고 그중 어느 것도 당신의 프롬프트에는 정의되어 있지 않다. 그래서 당신은 사실상 LLM에게 주사위를 굴려 아무거나 무작위로 고르라고 시켜 놓고는, 매번 다른 답이 나온다며 놀라는 셈이다.

    편집: 글 말미의 그들의 결론은 가장 중요한 점을 놓치고 있다. 그들은 여러 날에 걸쳐 여러 번 묻는 것에 대해 이야기하지만, 그건 문제의 근본 원인, 즉 요구사항을 제대로 정의하지 않은 문제를 다루지 않은 채 "garbage in -> garbage out" 사이클을 반복하는 것에 불과하다.

    그리고 만약 (예를 들어) "싼 것" 말고는 요구사항이 전혀 없다면, 어차피 어떤 결과든 당신의 용도에는 똑같이 유효한데 무슨 답을 받든 무슨 상관인가.

  4. seabre

    LLM 출력이 확률적이라면, 정해진 답이 없는 질문에 대해 답이 바뀌지 않기를 왜 기대하겠는가?

  5. luisfominaya

    일반적으로 LLM은 출력의 노이즈에 근본적인 문제가 있는 것 같다. 그래서 의견/추천/예측을 요청할 때 무작위성(어떤 데이터를 가져오고 어떻게 집계하는지)이 지나치게 큰 영향을 미친다.

이 날의 다른 글

2026-11-18