Construí un buscador de 500k dominios para makers en un fin de semana por $10
I Built a 500k-Domain Search Engine for Makers in a Weekend for $10
El autor, frustrado con los buscadores tradicionales que ahogan proyectos personales bajo documentación corporativa y SEO, construyó un buscador personal que indexa solo portadas de sitios. Con un alquiler de GPU por $10, un modelo local y un crawler enfocado, catalogó 560,183 homepages en un fin de semana. El sistema incluye un 'steward' que bloquea automáticamente dominios problemáticos, y prioriza enlaces de categorías como portafolios y zines. El resultado: un índice de búsqueda personal de cientos de miles de sitios, bajo un gigabyte en disco.
El titular, si solo lees un párrafo: por unos $10, un alquiler de GPU nocturno y unas horas de dirección mientras funcionaba, puedes tener un índice de búsqueda personal de unos cientos de miles de sitios, bajo un gigabyte en disco.