Cloudflare podría ahorrar petabytes de almacenamiento en caché con Zstandard y Pingora
We could save petabytes of cache storage with Zstandard and Pingora
Ante el aumento de los costos de memoria, Cloudflare probó un sistema llamado Cache Transcoding que comprime con Zstandard los activos elegibles dentro de Pingora antes de guardarlos en caché. En las pruebas, los archivos de texto se redujeron a un tercio de su tamaño original, lo que amplía la capacidad efectiva de almacenamiento y reduce el ancho de banda entre centros de datos, a cambio de un pequeño aumento en el uso de CPU. El prototipo, desarrollado durante una pasantía, mostró que la arquitectura es viable y planean seguir optimizándola.
Un pequeño aumento en la CPU le da a Cloudflare petabytes de capacidad de caché efectiva y reduce los datos transferidos entre nuestros centros de datos.
- r3trohack3r
Relacionado tangencialmente, hace unos años apliqué un enfoque similar para comprimir el registro npm en más de un 90% en disco. Como la mayoría de las versiones de un paquete son similares, puedes codificarlas por diferencias primero y luego comprimirlas. Los deltas son pequeños y se comprimen bien como colección con los archivos fuente originales.
Para otro caso de uso, antes de comprimir, apliqué un hash rodante para dividir el archivo de manera determinista. Luego comprimí los fragmentos y los almacené en un sistema de archivos CID. El resultado es que los archivos que son en gran parte similares comparten fragmentos comprimidos.
Hay muchas cosas que podemos hacer para ser sustancialmente más eficientes con las computadoras que tenemos, pero los ingenieros a menudo cuestan más que el hardware. ¡Con las recientes restricciones en la cadena de suministro, ese cálculo está cambiando!
- thinkindie
¿Por qué no servir archivos comprimidos si el cliente lo soporta, incluso si el origen sirvió un archivo sin comprimir?
- CodesInChaos
Me confunde cómo afecta esto a las solicitudes de rango. Sin compresión, se pueden satisfacer fácilmente leyendo la parte relevante del archivo completo en caché. Pero, ¿cómo se manejan ahora? El artículo afirma que "las solicitudes de rango permanecen sin cambios", pero no veo cómo eso es posible si la caché ya no almacena los datos sin comprimir.