Perplexityの回答の60%は、ランキング10万位以下のサイトからの引用だった
Three sites made 215,128 "best software" pages for AI. Perplexity cites them
2026年9月、380のソフトウェアカテゴリについてPerplexityの2つのモデルに「ベスト5」を尋ね、取得された7,534件の引用元を分析。その結果、59.8%がTrancoランキング10万位以下のドメイン、23.4%が100万位圏外のドメインからの引用でした。さらに、3つのサイト（wifitalents.com、worldmetrics.org、gitnux.org）が合計215,128もの「best software」ページを生成しており、これらは2023年12月以降に作成され、同じテンプレートとインフラを共有。また、3番目に多く引用されたguideflow.comは、デモ販売企業のマーケティングブログでした。この調査は、AIの根拠となる情報源の質に疑問を投げかけます。
これらのページは、そのタイトルと説明文において、それらを読むソフトウェアに向けて書かれている。
HNでの議論
119- xpct
記憶が正しければ、LLMが人間が書いた文章よりもLLMが生成した文章を好むことを示唆する論文がいくつかあった。私はClaudeに、別のチャットで生成したコードスニペットと、自分のニーズに合わせてリファクタリングしてより便利だと思うコードのどちらを好むか尋ねることで、これを一貫して再現できる。いつも自分の方を選ぶんだ :) また、ClaudeとCodexの両方が、何かを検索するように頼むと、生成されたウェブサイトを日常的に含めることも経験してきた。OAIとAnthropicが持っているウェブ検索ツールが非常に制限的であることも助けにならない：キーワードやドメインを除外できないのだ。
- mstaoru
まあ、これだけじゃないんだ。LLMがLLMの出力で学習することからの保護だけじゃなくて、LLMが人間の出力で学習することも問題なんだ。
私はある辺鄙な小さな町に旅行していたんだけど、事前にLLMでいろいろ「調査」していたんだ。どのLLMも例外なく、「XYZ町で最高のストリートフード」のために「フーバー広場」（名前は変えてある）に行けと熱心に言ってきた。中にはカラフルな詳細をたくさん付け加えるものもあった。
XYZ町にフーバー広場なんて存在しなかった。世界中のどこにもフーバー広場は存在しなかった。ただ一つだけ、人気のないサブレディットの不人気な投稿への、アップヴォートもない古いRedditのコメントがあって、そこで誰かが広場の名前をひどく間違えて綴り、「ストリートフードを食べたければフーバー広場に行け」みたいなことを言っていただけだった。「最高の」なんてことは一切書かれていなかった。
それは全部嘘なんだ。
- Aurornis
Perplexityがどこにでも12ヶ月無料オファーを出していた時、私はそれを利用した。最初は、Googleの検索結果トップ10を手動で見たくないような単純なクエリには、少し便利だと感じた。覚えている特定のレシピや、ヘルプページやユーザーマニュアルを探しているときは、たいていすぐに見つけてくれた。
しかしその後、彼らは結果の質よりも応答速度の最適化を始めた。クエリを入力すると、1秒で結果が表示されるが、それはゴミだ。それが与えるリンクや参照は、その隣のテキストと頻繁に一致しない。誰かが応答を可能な限り速くするというKPIを持っていて、何よりもそれを最適化したかのようだ。
彼らはあなたのために調査をすることになっている「Computer」オプションを追加した。半分の確率で、UIを通じてそれを起動できない。送信ボタンを押しても機能しない。起動できたとしても、それらのセッションのほとんどはしばらく動作して、答えが返ってくる前に停止してしまう。
私がそれを使い続ける唯一の理由は、何かの市場をリードする立場にあるべきなのに、大々的にマーケティングされ誇大広告された会社を観察し続けるためだ。ジョー・ローガン（Perplexityが大量に広告を出していると聞いている）を聞いている非技術者の知人でさえ、私にそれについて尋ねてくる。
今では、彼らが事前に警告すると言っているにもかかわらず、警告なしにトライアル期間の終了時に請求された人々の報告がある。カスタマーサポートが […]
- toddmorey
モデルは現在、情報源に対する懐疑心が十分ではないと思う。
エージェントのトレースを見ると、決定を下すために2つの選択肢を比較するように頼まれたとき、調査で引用される比較ページの多くは、比較されている企業の1つによってホストされていることが多い。ほぼすべてがAI生成のAEOプレイだ。公開された情報の動機を深く考慮しないことは、現在は悪用される可能性のあるグリッチだが、その窓は閉じられるだろう。
モデルプロバイダーが「信頼できる」製品情報、比較、レビューのための、いくつかの粗末なpay-for-playの検証システムを設定することは間違いない。
- jpimbert
これ自体が明らかにClaudeのアーティファクトである場合、数文以上読むのは難しい。
- alangibson
Perplexityは、Googleが検索エンジンである前にまずスパム対策会社であることを学ぼうとしている。
- rcar1046
「ネームサーバーペアを共有することは、所有権の証明ではなく、共通のCloudflareアカウントの有力な状況証拠である」
—この一文を読んだら、記事の中の他の主張を信じてはいけないとわかる....
- throwaway2037
これは天才的だ。AI/LLMの特異点が到来した。それは自分の尾を食べる蛇（ウロボロス）[1]（または自転車に乗るペリカン）の形をしている。
[1] https://www.newsbiscuit.com/post/ouroboros-unclear-if-it-s-e...