봇 차단, CDN 없이도 가능할까?

How to Block Some of the Bots

이 글은 CDN 없이도 대부분의 봇을 차단할 수 있는 9가지 실용적인 방법을 소개한다. HTTP/2.0 강제, 데이터센터 IP 블랙홀, FireHOL 블록리스트, User-Agent 및 클라이언트 신호 기반 차단, NFTables를 활용한 패킷 필터링 등 다양한 기법을 다루며, 각 방법의 위험성과 오탐 가능성을 설명한다. 특히 GoogleBot이 HTTP/1.1을 사용한다는 점을 지적하며, 검색엔진 차단에 따른 트래픽 손실을 고려해야 한다고 조언한다. 저자의 경험을 바탕으로 한 실용적인 설정 예시와 스크립트를 제공하지만, 수익 창출 환경에서는 사용하지 말 것을 강조한다.

봇은 대부분 HTTP/1.1을 사용하는데, GoogleBot도 예외는 아니다. 검색엔진 개발이 죽은 것처럼 보인다.

이 날의 다른 글

2026-07-26