AIに同じ質問を翌日も聞いたら、84%の回答が変わった
We asked AI the same 210 buying questions 2 days in a row,84% of answers changed
Superciteが210の購買関連質問をChatGPT、Gemini、Google AI Overviews、Google AI Modeの4エンジンに2日連続で投げ、839件の回答を比較した。翌日には84%の回答で挙げられたブランドの顔ぶれが変わり、Geminiでは95%に達した。1位ブランドは翌日も名前を残す確率が90%だが、1位の座を維持できたのは63%のみ。小規模ブランドは獲得した掲載枠の半分しか保てず、参照ページの一致率も42%にとどまった。
AIの回答は固定されたランキングではない。その都度新しく選ばれた数ページを要約したものだ。
HNでの議論
30- ryanisnan
これは本質的に驚くことではないと思う。
彼らが尋ねた質問を見ると、かなり広範だ。私の経験では、LLMの価値の一部はそのランダム性から来ているが、それをこれらのツールの特徴的な美点として理解し、それに応じて適応する必要がある。
範囲を絞り、制約を明確にし、具体的な成果を求める質問をすれば、常により良い結果が得られると思う。
- mentalgear
人々は「AI」が客観的な意思決定をするための事実をすべて持っていると思っているが、結局のところ(またしてもSEO?)その日の検索エンジンが返したページに帰着するようだ。
> あなたがリーダーでないなら、これが重要な部分だ。あなたの可視性は、エンジンがその日にどのページを読むかに依存する。それを安定させる方法は、より多くのページに載ることだ。
最終的には、言及に依存しない真の事実知識グラフが必要だ。
- hnlmorg
あなたが証明しているのは、どんな特定のドメインにも成熟した解決策が十数個あるということだけだ。
ある製品を別の製品と区別するのは、これを統合するプロジェクトに固有の制約になる。そしてそのどれもあなたのプロンプトには定義されていない。だからあなたは事実上、LLMにサイコロを振ってランダムに何かを選ばせているだけで、そのたびに違う答えが返ってくることに驚いているだけだ。
編集:記事の最後の彼らの結論は最も重要な点を外している。彼らは複数の日に複数回尋ねることについて話しているが、それは「ガベージイン→ガベージアウト」のサイクルを繰り返しているだけで、問題の根本原因である要件を適切に定義していないことに対処していない。
そして「安いもの」以外に要件がないなら(例えば)、どの結果もあなたのユースケースにとって等しく有効なのに、どんな答えが得られるかを気にする意味があるのか。
- seabre
LLMの出力が確率的なら、なぜ確定した答えのない質問に対して変化しないと期待するのか?
- luisfominaya
一般的に、LLMには出力のノイズに関する根本的な問題があるように思える。そのため、意見や推薦、予測を求めると、ランダム性(どのデータを引き出し、どう集約するか)が過大な影響を及ぼす。