攻撃者がChatGPTとGeminiを操り、偽のサポート窓口へ誘導
Hackers influence ChatGPT and Gemini to direct users to scam centers
ChatGPT、Gemini、Google AI Overviewが、GEO（Generative Engine Optimization）を悪用した攻撃者によって汚染されている。攻撃者は偽の電話番号やメールアドレス、ログインページをAIに引用させるため、SNSやPDF、レビューサイトなどに巧妙なコンテンツを大量に投稿。Delta、Lufthansa、Chase、Airbnbなど374社が標的となり、数万の悪意あるページが検出された。自動化された攻撃は削除が追いつかず、GoogleとOpenAIはこの問題を脆弱性として扱っていない。
AIは真実と嘘を区別できないという根本的な事実は変わらないため、こうした攻撃はさらに悪化するだろう。
HNでの議論
52- pluc
オンライン情報を餌にしているモデル全般で起きていることだよ。虚偽の主張を載せたウェブサイトを作れば、AIがそれを吸い上げて、ユーザーが質問したときにそのまま吐き出す。
楽しい選挙を。
- mbauman
Julia Discourseのモデレーターとして、この裏側を見てきた。Pagerank/SEOスパムはばかばかしいほど明白で、検出・ブロックは簡単だ——リンクさえ見ればいい。GEOスパムの投稿も同様に明らかなものが多い。プログラミング言語のフォーラムで暗号通貨のカスタマーサポートホットラインについて投稿するのは、間違いなくスパムだ。しかし最近、スパマーや詐欺師はAIを使って投稿を_調整_し、ずっと本物らしく見せるようになっている。たとえば「Juliaを使って市場統計を分析する方法」と題し、特定の暗号通貨取引所に言及し（リンクはなし！）、その後（時には）後から電話番号などを編集して追加するのだ。
さらに厄介なのは、こうしたGEO投稿がコミュニティから引き出す善意の回答の数々を見ることだ。これはSEOスパムよりもはるかに悪質だ。
- QuantumNoodle
これをやるのにハッカーである必要はない。私の高齢の隣人は「Microsoft ヘルプセンター 電話番号」のようなものを検索しただけなのに、Geminiが彼女の検索語に基づいて詐欺番号を提案した。彼女はあまりにも詐欺に遭い、私は週末を費やして彼女のコンピューターを消去し、デジタルアカウントをロックダウンし、個人情報盗用に対処するのを手伝わなければならなかった。
- neya
何十年もかけてPageRank™に取り組んできたのに、AI競争で取り残されたと感じただけでそれをすべて捨てるなんて想像してみてほしい。これが集中力を失うということだ。
- jimbo456
ChatGPTやGeminiのようなAIプロバイダーは、自社製品が詐欺を可能にした事例について刑事責任を負うべきだ。