AI 에이전트 앞에서 무너진 봇 탐지, Proof of Human만 99% 잡았다
Benchmarking Bot Detection Systems Against Modern AI Agents in 2026
Proof of Human이 2026년 벤치마크에서 5개 봇 탐지 시스템을 비교했다. AI 에이전트와 스텔스 브라우저 등 5종의 공격자를 대상으로 한 결과, Proof of Human은 99%를 탐지했지만 reCAPTCHA v3는 69.4%, hCaptcha는 44.3%, Cloudflare Turnstile은 42.1%, Cloudflare Bot Management는 9.1%에 그쳤다. 특히 hCaptcha와 Turnstile은 스크립트 브라우저는 거의 잡았으나 시각 능력을 갖춘 AI 에이전트는 대부분 통과시켰다.
전통적인 자동화 신호는 스크립트 브라우저에는 여전히 효과적이지만, 실제 브라우저 환경을 지능적으로 사용하는 AI 에이전트에는 덜 신뢰할 수 있다.
- asksomeoneelse
"이건 광고다"라고 말하고 싶지는 않지만, 거기엔 명백한 이해충돌이 보인다.
또한 방법론은 그냥 알려진 부정(negative)에 대한 진음성(true-negative) 탐지율만 비교한 것 같은데?
> "Proof of Human은 자동화 세션의 99%를 식별했다"
> "우리는 자동화 세션에 대한 탐지율을 측정했지만, 인간 응답자 사이의 위양성(false-positive) 비율은 평가하지 않았다."
그렇다면 게임하기는 식은 죽 먹기다. "isHuman(x) = return false"라고 하면 100%가 나온다.
- aurareturn
이런 벤치마크를 돌릴 때는 위양성도 측정해야 한다. 실제 사람이 캡차를 푸는 건 짜증나니까.
봇 요청 하나를 막는 게 +1이라면, 사람에게 캡차를 풀게 하는 건 -100쯤 되어야 한다. 그렇게 채점해야 맞다.
- vikrantrathore
당신의 봇 탐지 시스템들에서 anubis, safeline, sibuna 같은 오픈소스 시스템은 보이지 않는다(나는 sibuna의 저자다). Sibuna는 콘솔 UI를 갖춘 Cloudflare의 셀프호스팅 대안으로 만들어졌고, OWASP CRS와 인그레스에서의 JA4 TLS 시그니처를 제공한다. 이런 것들은 봇 탐지 외에도 여전히 필요하며 Cloudflare는 이를 엔터프라이즈 상품으로 제공한다.
내 책에 이들에 대한 더 작은 벤치마크가 있다: https://insanai.github.io/sibuna/ . 벤치마킹 코드를 오픈소스로 제공해 준다면 이 보고서를 sibuna 책에 반영하겠다.