10 Dolara 500.000 Domaini Tarayan Kişisel Arama Motoru
I built a 500k-domain search engine for makers in a weekend for $10
Bir geliştirici, hafta sonunda yaklaşık 10 dolara 560.000'den fazla web sitesini dizinleyen kişisel bir arama motoru kurdu. Sistem, ana sayfaları özetlemek için küçük bir yerel dil modeli kullanıyor ve içerik türüne göre önceliklendirme yaparak kurumsal siteleri filtreliyor. Makale, mimariyi, karşılaşılan zorlukları (Tumblr ve forum çiftlikleri gibi) ve GPU kiralama stratejilerini detaylandırıyor; ayrıca ölçeklendirme için maliyet tahminleri sunuyor.
Hafta sonu boyunca yaşananların hikayesi: ne inşa ettiğim, neyin bozulduğu, ne kadara mal olduğu ve kendi motorunu kurmak istersen sana ne söyleyeceğim.