IPinfo уменьшила файлы MMDB на треть, не тронув ни байта данных

How we made our MMDB files a 33% smaller

IPinfo нашла способ сократить размер MMDB-файлов на 31% по всему каталогу (с 91,2 до 62,8 ГБ), а для ipinfo_privacy — на 80%, без сжатия и изменения формата. Причина в том, что стандартные писатели MMDB дублируют идентичные поддеревья поиска. Инструмент mmdbshrink применяет хеш-консинг, переиспользуя узлы с одинаковыми дочерними ссылками. Результат — валидный MMDB с теми же ответами для каждого IP, ускорением поиска и меньшим потреблением памяти. Код открыт под Apache 2.0.