gzip может быть языковой моделью?
Can gzip be a language model?
Автор проверил на практике эквивалентность сжатия и предсказания: любой компрессор — это вероятностная модель, а значит, gzip способен генерировать текст. Он написал gzipt — скрипт на чистом Python, который праймит DEFLATE корпусом, оценивает продолжения по длине сжатия и ищет лучшие варианты лучевым поиском. После прайминга на tiny Shakespeare gzip выдаёт обрывки, похожие на шекспировский стиль, хотя и не связный текст. Код доступен на GitHub.
Продолжение, которое gzip «ожидал», потому что оно повторяет текст, уже находящийся в его окне, сжимается почти до нуля.