IPinfo schrumpft MMDB-Dateien um ein Drittel – ohne einen einzigen Datenverlust
How we made our MMDB files a 33% smaller
IPinfo hat eine Technik namens Hash-Consing auf den Suchbaum von MMDB-Dateien angewendet: Identische Teilbäume werden nur einmal gespeichert und von mehreren Elternknoten referenziert. Das Ergebnis: Der gesamte Datenbankkatalog sank von 91,2 GB auf 62,8 GB, die Einzeldatei ipinfo_privacy sogar um 80 %. Das Format bleibt unverändert, jede Lesebibliothek liefert dieselben Antworten. Das Tool mmdbshrink ist jetzt unter Apache 2.0 Open Source.
Jedes gesparte Byte stammte aus dem Suchbaum, und 41 % der Knoten entpuppten sich als Duplikate bereits geschriebener Knoten.