2美元ESP32-C3实现53万域名拦截
ESP32-C3 Adblock
这个项目在仅2美元的ESP32-C3芯片上,无需PSRAM,成功运行了类似Pi-hole的DNS广告拦截器。核心突破在于将53.7万个域名转换为40位FNV-1a哈希值存储在Flash中,通过二分查找实现毫秒级响应,仅需约50KB RAM。相比传统将字符串加载到内存的方案,这种方法大幅降低了硬件成本,让普通用户也能轻松搭建家庭级广告过滤网关,甚至能直接插入路由器USB口运行。
大家忽略的关键技巧是:你不需要将黑名单保存在RAM中,而是将域名作为排序后的40位哈希存储在Flash中并进行二分查找。
HN 评论区
82- muti
Readme 里谈 hash 碰撞的方式有点怪,跟我预期的不一样。两个被拦截的域名如果 hash 相同并不是问题,反正它们都得被拦。
hash 碰撞真正要紧的是误报,比如 hash(google.com) = hash(adserver.com)。看起来项目有 web 仪表盘和 /unblock api,解决起来应该不难。
- yoavm
如果你正打算入手 ESP32-C3,听我一句劝,买能接外置天线的那个版本。普通版 C3 内置的天线信号极弱,导致我原本计划的大部分用途都废了。
- BLKNSLVR
我是个有点偏执狂的列表控,所以我的 PiHole 里维护着一个总共 1400 万到 1600 万个被拦截域名的列表。
这主意很棒,适合日常拦截,但我几乎要转向“白名单”思维了。这个方案可能更适合白名单模式,我在想,互联网上那些好东西能不能塞进一个 14 万的列表里。
- waysa
我觉得用 Bloom Filter 或类似的概率数据结构,甚至能塞进更多域名。当然,这会有误报的风险。但这本来就是该项目已经做出的权衡。
- 1vuio0pswjnm7
白名单/允许列表更容易,比如它更小。
这取决于用户,但不是每个人每天都访问新网站。
即使对那些每天访问新网站的人来说,需要的域名-IP 映射数量也相对较小。
肯定不到 140,000。
我用的大部分 DNS 数据都是“静态”的,很少变化。因此大多数时候我根本不需要发起 DNS 查询。我把域名-IP 映射存在代理内存里,这比 DNS 更快。
完全不需要“黑名单”。