AIが引用する統計の4割は、元の研究にたどり着かない
Only 40% of AI-cited statistics trace back to a study
ChatGPT、Perplexity、Gemini、Claude、Google AI Overviewsに数値を問う200の質問を投げ、引用元を最大5ページ先までたどった調査。1,285件の統計のうち、同じ内容の研究に到達したのは40%にとどまり、8%は途中で数値や文脈が変わり、40%は出典を確認できず、11%は研究がどこにも存在しなかった。引用先の54%は企業ブログで、研究そのものを指すのはわずか21%。5つのAIが同じ質問に49%から96%まで異なる数字を返す例もあった。
同じ質問に5つのアシスタントが答えると、しばしば5つとも違う数字が返ってくる。5つすべてが割合を示した71問のうち28問で、4つか5つの異なる数値が得られた。