2ドルのESP32-C3でPi-hole級の広告ブロッカーを実現、537kドメインをフラッシュに格納
ESP32-C3 Adblock
PSRAM不要のESP32-C3でPi-hole並みのDNS広告ブロッカーを構築するプロジェクト。ドメインを40ビットのFNV-1aハッシュに変換し、フラッシュ上で二分探索することで、141kドメインをわずか0.67MBのフラッシュと約50KBのRAMで処理。ルックアップは約10ms。文字列をRAMに置く従来手法より効率的で、より大きなチップでも応用可能。WebダッシュボードやOTA更新、キャプティブポータルによるWiFi設定も備える。
ハッシュをフラッシュに置く方が、文字列をPSRAMに置くより基本的にどこでも優れている。C3はそれを否定できない形で示しているだけだ。
HNでの議論
82- timvdalen
> みんなが見落としているコツ:
READMEの最初の一文くらい自分で書いてください
- muti
READMEがハッシュ衝突について触れているのが妙だ。しかも予想とは違う形で。ブロック対象のドメインが2つ同じハッシュを持っていても問題ではない。どちらもブロックする必要があるからだ。
ハッシュ衝突が問題になるのは誤検知のときだ。たとえば hash(google.com) = hash(adserver.com) となった場合など。Webダッシュボードと /unblock API があるようなので、解決は簡単だろう。
- yoavm
ESP32-C3を買おうと考えているなら、外部アンテナを接続できるモデルを選んだほうがいい。通常のC3は内蔵アンテナが極端に弱く、私が使う予定だったほとんどの用途で役に立たない。
- BLKNSLVR
私はリスト好きのちょっとした偏執狂で、合計1400万〜1600万ドメインをブロックしているPiHoleを使っている。
素晴らしいアイデアで、カジュアルなブロックには向いているが、私はほぼ「許可リスト」的思考に移行しつつある。このソリューションはその用途のほうが向いているだろう。インターネットの良い部分が14万件のリストに収まるかどうか気になる。
- 1vuio0pswjnm7
ホワイトリスト/許可リストのほうが簡単だ。たとえばサイズが小さい。
ユーザーによるが、毎日新しいウェブサイトを訪れる人ばかりではない。
訪れる人でも、必要なドメイン-IPマッピングの数は比較的少ない。
間違いなく14万件以下だ。
私が使うDNSデータのほとんどは「静的」で、めったに変わらない。そのためほとんどの場合DNSクエリを発行する必要がない。ドメイン-IPマッピングをプロキシのメモリに保存している。これはDNSより速い。
「ブロックリスト」は不要だ。