La compresión es predicción: por qué los compresores y los LLM resuelven el mismo problema

Compression Is Prediction

Un artículo explora la sorprendente conexión entre la compresión de datos y los modelos de lenguaje. Explica cómo los compresores modernos, como gzip y Brotli, utilizan modelos de probabilidad y codificadores de entropía para reducir datos, y cómo la codificación aritmética puede representar un conjunto de datos completo con un solo número. La clave es que la compresión depende de la redundancia y las probabilidades sesgadas, lo que lleva a la entropía de Shannon. Al final, sugiere que los LLM, al predecir el siguiente token, están esencialmente comprimiendo información, revelando una profunda relación entre ambos campos.