周末花10美元自建50万域名搜索引擎
I Built a 500k-Domain Search Engine for Makers in a Weekend for $10
周日凌晨两点，受够了被企业文档和SEO垃圾淹没的搜索结果，我决定自己动手。我搭建了一个名为marlin的本地搜索引擎，只爬取首页，利用Gemma模型生成摘要和标签。通过租用GPU和精心调整队列优先级，我成功过滤掉90%的垃圾内容，在两天内索引了56万多个独立网站、艺术项目和代码库。整个过程花费仅10美元，证明了在AI时代，个人完全可以低成本构建专属的数字花园，找回互联网最初的探索乐趣。
对于大约10美元、一次夜间GPU租赁以及几个小时的监控，你就可以拥有一个包含数十万个网站的个人搜索索引，且磁盘占用不到1GB。
HN 评论区
81- iFire
我对你的算法印象如下：
1. 读取每个网站
2. 租用一台 4090，通过 https://vast.ai 运行 vllm
3. 让大语言模型自由发明自己的分类和标签名称
4. 为每个网站保存 1KB 的元数据
a. 使用一个小规模的本地语言模型，读取每个网站并生成一个名称、两三句话的描述、一个分类以及几个标签。
5. `代码即将开源`（TM）
- frogger8
供需要域名列表的朋友参考：
主题：我想要所有域名和子域名
https://groups.google.com/g/common-crawl/c/XC2QmOE-sdI?pli=1
或者在 Google 上搜索 COMMON CRAWL
- headz
太长不看版：太粗糙；没认真读。
- marginalia_nu
有趣的项目。网站发现确实处于相当糟糕的境地，绝对是一个需要创新的领域。自动标注的网站目录并不是一个荒谬的想法。
我有一个 400GB 的 sqlite 数据库，里面存储了用于 Marginalia Search 广告检测的渲染后根文档 DOM 样本，我一直想探索类似的想法。
- eichin
这让我想起 AltaVista 的服务器当年只用了 4GB 内存（当时有著名的电路板照片——DEC 对此正当自豪，那是 30 年前的事了），而现代的 AltaVista 应该能在一台不错的笔记本电脑上运行 :-)