IPinfoがMMDBファイルの重複ノードを削り、データを1バイトも変えずに3割減らした
How we made our MMDB files a 33% smaller
IPinfoは、IPデータベースのMMDBファイルから重複したサブツリーを取り除くことで、日次で生成する89個のデータベースを91.2GBから62.8GBへ31%削減した。最大の成果はipinfo_privacyの789MBから155MBへの80%減。圧縮ではなく、ハッシュコンシングで同一ノードを共有する手法で、検索結果は完全に同じまま。ツールはApache 2.0で公開されている。
データセクションは手つかずだ。削減されたバイトはすべて検索ツリーから出ており、ノードの41%がすでに書き込まれたノードの複製だったことが判明した。