주말에 50만 도메인 검색 엔진을 10달러로 만들었다

I Built a 500k-Domain Search Engine for Makers in a Weekend for $10

저자는 주말 동안 560,183개 홈페이지를 분류한 개인용 검색 엔진을 구축했다. 약 10달러의 GPU 임대 비용과 몇 시간의 조정으로 완성했으며, 로컬 LLM(Gemma 4B)을 사용해 각 페이지의 이름, 요약, 카테고리, 태그를 생성했다. 핵심은 큐의 우선순위를 조정해 개인 사이트, 포트폴리오, 진(zine) 같은 '메이커' 콘텐츠를 상위로 끌어올리고, 기업 문서와 SEO 쓰레기를 걸러내는 것이었다. 또한, 비정상적으로 많은 페이지를 생성하는 도메인을 자동으로 차단하는 '스튜어드' 프로세스를 추가해 품질을 유지했다.