IPinfo, 데이터 한 바이트 바꾸지 않고 MMDB 파일 31% 줄였다
How we made our MMDB files a 33% smaller
IPinfo가 MMDB 파일의 검색 트리에서 중복 서브트리를 찾아 해시 컨싱으로 공유하는 도구 mmdbshrink를 오픈소스로 공개했다. 매일 빌드하는 89개 데이터베이스가 91.2GB에서 62.8GB로 줄었고, ipinfo_privacy는 789MB에서 155MB로 80% 감소했다. 압축이나 포맷 변경 없이 파일 크기만 줄었으며, 모든 IP 조회 결과는 동일하다. 조회 속도는 오히려 소폭 개선됐다.
우리가 경쟁하는 것은 파일에 무엇이 들어가느냐이지, 파일을 어떻게 포장하느냐가 우리의 우위가 아니다.