Cloudflare、検索での発見可能性を保ちつつAIトレーニングを拒否できる新設定「Disallow AI Training」を発表
Stay discoverable in search while disallowing AI training
Cloudflareは、検索インデックス登録を維持しながらAIトレーニングを拒否できる新設定「Disallow AI Training」を発表した。混合用途クローラーに対応し、Apple、Google、Microsoftが遵守を約束。従来の「Block AI Bots」は非推奨となり、Search・Training・Agentの3制御に移行。広告収入のあるサイト向けにはより制限的なプリセットも提供される。
混合用途クローラーはトレーニング問題の難所だった。次はAI要約だ。サイト全体での単純な賛否は粗すぎる。コンテンツのどれだけが要約に現れるかは、現れるかどうかと同じくらい重要だ。
HNでの議論
49- DharmaPolice
こうしたデータを「公開されているが実質的にはそうではない」と分類しようとするスキームのほとんどは、最終的に失敗する運命にあるような気がする。世界中のAI企業すべてがこの条件を守ると信じられたとしても、誰かがデータをインデックスしてAI企業に情報を売るのを止められるものはあるのか？著作権法があるのは知っているが、どうやら彼らはそもそもそれを無視しているようだ。
結局のところ、これは本当に初期のソーシャルメディアのプロフィール（人々がプライバシー設定を理解する前、そもそもそんな設定があったとしての話だが）を思い出させる。そこには「友達でなければこのページを読むことは許されない」と書いてあった。
自分のコンテンツが何らかのデータベースやアーカイブに入るのを望まないなら、世界中の誰もが見られるように公開するべきではない。
- 1vuio0pswjnm7
「Cloudflareはボットを行動によって分類しており、単一のボットが複数の行動を示すこともある」
それは本当なのか
CFは、JavaScriptを有効にした一般的なブラウザを使っていない者を誰でも「ボット」に分類する
CFはwwwユーザーのフィンガープリントを取る
例として、CFの「ボット保護」、つまり「ブラウザを確認しています」というCAPTCHAのくだらない仕掛け（challenges.cloudflare.com）があるサイトでの、CFのPermissions-Policy HTTPレスポンスヘッダーを見てみろ。そしてIAのPermissions-Policyレスポンスヘッダーを見てみろ。一方のCDNは広告主志向で、もう一方はユーザー志向だ
IA = Internet Archive
- nirmeetimthebes
「説明責任がある」とは、「ラベル付きの指切りげんまん」を気取った言葉にすぎない。一度フェッチされてしまえば、データがトレーニング実行に使われるのを止めるものは何もない。
- skybrian
ウェブサイトがGoogleのAIトレーニングへのデータ提供をオプトアウトできるとは知らなかった。Googleは2023年にrobots.txtの「Google-Extended」を通じてこれをサポートするようになったようだ：
https://blog.google/innovation-and-ai/products/an-update-on-...
- shark1
「Apple、Google、Microsoftはこの設定を尊重している、または（指定された期間内に）尊重することにコミットしている。」
指定された期間ね ;)