봇들의 습격에 지친 사진작가, 디지털 사진을 포기하고 종이 zine으로 간다
Running web sites makes me not want to
한 개인 블로거가 직접 서버를 운영하며 겪은 경험을 털어놓는다. LLM 스크래퍼들이 몰려오면서 업로드 대역폭이 포화됐고, iftop으로 확인해 보니 Meta, Azure, Alibaba 같은 대형 클라우드 업체의 IP 대역이 자기 사이트를 긁어가고 있었다. nftables로 해당 대역을 차단했지만 결국 몇 년째 방치해 둔 사진 사이트를 내리고, 이벤트별로 종이 zine만 판매하는 쪽으로 바꾸려 한다. 디지털 이미지를 아예 올리지 않겠다는 결심이다.
기업들이 창의성의 조악한 모조품을 우리에게 되팔기 위해 웹을 무단으로 긁어가는 그 뻔뻔함이 정말 짜증난다. 내 시간을 그 기계를 먹여 살리는 데 쓰고 싶지 않다.
HN 토론
49- baumschubser
AI의 모든 측면 중에서, 저는 이것이 가장 무시하기 쉬운 것이라고 생각합니다. AI가 당신의 독서를 오염시킬 수는 있지만, 당신의 글쓰기까지 오염시키도록 두지는 마세요. 그냥 계속 당신이 하던 일을 하면 어떨까요? 모든 유용함이 교환 가치로 표현되어야 하는 세상에서 이런 소외감은 새로운 것이 아닙니다. 추가 부하는 서비스 제공업체가 처리하게 하고, 생각하고, 쓰고, 사진을 찍고, 사회적인 인간으로서 계속 살아가세요.
- eska
스크래퍼들이 앱 개발자에게 SDK를 통해 주거용 IP 대역을 사용하고 있다는 것도 알고 있습니다. 그 SDK는 '다른 용도'로 연결을 활용하기 위해 백도어를 추가하죠. 누군가 이걸 확인해 줄 수 있나요?
- nightdeployboy
저도 작은 사이드 프로젝트 사이트를 운영하는데, 매주 수십만 개의 봇이 방문합니다..
- yosefk
대부분 정적 페이지를 CDN에 캐시해서 제공하고, 자주 요청이 올 것 같지 않은 동적 페이지는 서버 측에서 직접 캐시하면 괜찮을 겁니다.
- Bender
포기하지 마세요. 봇을 차단하고, 리다이렉트하고, 타피팅(tarpitting)하는 것은 일종의 재미있는 게임이나 퍼즐이 될 수 있습니다. 봇이 진화하면 게임도 진화해야 하죠. 저는 주거용 봇은 아주 조금 느리게 하고, 명백한 봇은 초당 32~96바이트 정도로 늦춥니다. 대부분은 중단할 거라고 생각했는데, 많은 봇이 그러지 않더군요. 느린 물방울 같은 속도에도 계속 머물러 있습니다.
여기 한 가지 예시가 있습니다. 좀 무례하긴 한데, 특히 기업 방화벽 뒤에 있는 정당한 사용자에게는 그렇죠. 하지만 그런 사람들은 어차피 제 사이트에 오면 안 됩니다. 필요에 따라 조정하세요. 그냥 우스운 예시일 뿐입니다.
if ($server_protocol = HTTP/2.0) { set $limit_rate 384k; set $ok 1; }
if ($http3 != "") { set $ok 1; } # no rate limit for quic
if ($ok != 1) { set $limit_rate 32; limit_rate_after 128; set $trace "${trace}not-h2h3 "; add_header Content-Type text/html;return 200 '<!DOCTYPE html><html><head><title>Welcome to nginx!</title><style>body{width:35em;margin:0 auto;font-family:Tahoma,Verdana,Arial,sans-serif;}</style></head><body><h1>Welcome to nginx!</h1><p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p></body></html>'; }
파시스트 방화벽 뒤에 있지 않고 프록시를 사용하지 않는 사람들은 (alt-svc 헤더와 dns를 통해) QUIC을 사용해 전체 속도를 낼 수 있을 겁니다. 대부분의 실제 VPN도 QUIC을 사용할 수 있어야 합니다.
이건 그냥 우스운 예시일 뿐입니다. nginx geo를 FireHOL 및 기타 스패머 IP 저장소(iprange로 통합)와 함께 사용해 느리게 하거나 타피팅하거나 […]