AIエージェントはbot検出の大半を突破、99%検出したのはProof of Humanだけ
Benchmarking Bot Detection Systems Against Modern AI Agents in 2026
Proof of Human、Google reCAPTCHA v3、hCaptcha、Cloudflare Turnstile、Cloudflare Bot Managementの5システムを、PlaywrightのChromium、ステルスブラウザのCloakBrowser、Browser Use、Perplexity Comet、Grokの5種類の相手で検証。全体の検出率はProof of Humanが99%、reCAPTCHA v3が69.4%、hCaptchaが44.3%、Turnstileが42.1%、Bot Managementが9.1%だった。hCaptchaとTurnstileはスクリプト型ブラウザをほぼ捕捉した一方、画像を見て解けるAIエージェントには通用しなかった。
従来の自動化シグナルはスクリプト型ブラウザには依然有効だが、本物のブラウザ環境を賢く使うAIエージェントには信頼性が低い。
- asksomeoneelse
「これは広告だ」と言いたくはないが、明らかな利益相反が見て取れる。
それに、方法論は既知のネガティブに対する真陰性検出率を比較しているだけのように思える？
> 「Proof of Humanは自動化セッションの99%を識別した」
> 「自動化セッションの検出率を測定したが、人間の回答者における偽陽性率は評価していない」
もしそうなら、簡単にゲームできる指標だ。「isHuman(x) = return false」で100%達成できる。
- aurareturn
こうしたベンチマークを実行するときは、偽陽性も測定すべきだ。なぜなら、本物の人間がCAPTCHAを解くのは煩わしいからね。
ボットのリクエストを1件ブロックするのが+1なら、人間にCAPTCHAを解かせるのは-100くらいにすべきだ。そうやって評価するべきだよ。
- mimimile
プロジェクトを構築中に、robots.txtを読むためのクローラーが必要だった。10,000サイトのうち、1,200強がアクセスを完全に拒否した。