gzip이 언어 모델이 될 수 있을까?

Can gzip be a language model?

신경망 없이 gzip만으로 언어 모델링이 가능한지 실험한 글이다. 압축과 예측의 동치성에 기반해, gzip의 DEFLATE 알고리즘이 다음 바이트를 예측하는 모델로 작동할 수 있음을 보인다. 빔 서치를 도입해 생성 품질을 높였고, 셰익스피어 코퍼스로 프라이밍한 뒤 그럴듯한 텍스트를 생성하는 데 성공했다. 순수 표준 라이브러리 Python 코드로 구현되었다.