週末に50万ドメインの検索エンジンを10ドルで自作した話

I Built a 500k-Domain Search Engine for Makers in a Weekend for $10

著者は2週末で約56万サイトのホームページをクロールし、各サイトをローカルLLMで要約して個人用検索エンジンを構築した。GPUレンタル料は約10ドル、ディスク使用量は1GB未満。コーポレートサイトやSEO記事に埋もれず、個人のポートフォリオやアートプロジェクトを見つけることを目的としている。クロールの優先順位を調整し、スチュワードと呼ばれるプロセスでスパムを自動ブロックするなど、工夫を凝らした。