65のAIに12万回質問して判明、どのAIも全員に同じ答えを返していた
AI is giving everyone the same advice
30社のAI 65モデルに、日常的な相談を12万7918回投げかけた実験。人生を変える本を尋ねると100人中73人が同じ一冊を勧められ、起業アイデアは76人が同じサブスク型ビジネス、1万ドルの投資先は98%がインデックスファンドだった。しかもAI自身は「自分は多様な答えを返している」と誤認している。この偏りは学習の途中で身につくもので、同じ会社のモデルほど回答が似る傾向も浮かび上がった。
同じAIに1つの会話の中で「別のをください」と8回頼むと8冊の違う本を返すが、新しい会話を8回開くと毎回同じ本を返す。あなたが違う答えを見るのは、最初の答えをすでに持っているからにすぎない。
HNでの議論
30- mannyv
AIは検索の罠に陥っている。すべてが決定論的になる罠だ。そしてそれは理にかなっている。検索するときは毎回同じ答えが欲しいのだから。
パーソナライゼーションで、ある程度はそれをオフにできる。しかしあるレベルでは、あなたのクエリは一連の斜面を転がるビー玉のようなもので、大きな斜面ほどビー玉が転がりやすいのだ。
- BiraIgnacio
ずっと昔、いくつかの焼き菓子のレシピを探るためにClaude、ChatGPT、Geminiを試したことがある。
甘味料の使用について尋ねると、どれも特定の種類の甘味料が他の液体と混ぜると最も効果的だと答えた。
どれも実質的に同じ文を使っていることに気づいた。なぜかと尋ねても、どのモデルも良い説明を出せなかった。
そして、いくつかのウェブサイトが全く同じ指示を提供していて、やはりなぜかについての良い説明はなかった。
とにかく、ほんのわずかな情報がモデルの中でどれほど大きな重みを持つかに、面白さと恐怖を同時に感じさせられた長い話だ。
- q17
これは実際かなりまともなブログ記事だ。多少AIが書いたような兆候はあるけれど。
一つ気になるのは、top p、top k、temperatureの効果だ。これらが同一プロンプトへの応答の違いの源だからね。
- bigdict
文脈のない一般的な質問をすれば、一般的な「最大尤度」の答えが返ってくる。それが驚くことなのか?
- xg15
> 65のAIに、人々が毎日彼らに尋ねることを聞いた
そしてモデルはどうやってそれを知るというのか?研究所がそう簡単に自社の利用統計へのアクセスを渡すとは思えない。