봇 탐지, JavaScript 없이: 제 블로그가 측정한 것
Bot Detection Without JavaScript: What My Blog Measured

저는 Cloudflare Worker에서 네트워크 및 요청 헤더 규칙을 사용하여 브라우저 User-Agent 요청의 74.5%를 봇으로 분류했습니다. 이는 단순히 방문자 수를 줄이는 것이 아니라, 각 요청이 왜 그렇게 분류되었는지 설명할 수 있는 근거를 제공합니다. 제가 발견한 중요한 교훈은 클라이언트 신원과 실제 읽기 행위는 다른 증거가 필요하다는 것입니다. 예를 들어, 서명된 요청이 반드시 사람이 읽는 것은 아니며, 스크립트 카운터와의 비교는 측정 문제를 드러냅니다. 이 과정에서 Accept 헤더 처리의 버그를 발견하고 수정했습니다.
서명된 클라이언트는 크롤러일 수 있습니다: Exa는 ExaSearchBot이 페이지를 가져오고 인덱싱한다고 문서화합니다. 서명은 검증자의 검사 하에 요청을 서명 ID와 연결합니다. 이는 시작한 사람의 신원, 위임 또는 목적을 확립하지 않습니다.