Logfire acelera sus consultas hasta 1000 veces al fragmentar columnas JSON
Shredding JSON columns gave Logfire up to 1000x faster queries
Logfire ha implementado dynamic shredding, una técnica que extrae automáticamente los atributos más consultados de las columnas JSON a columnas tipadas durante la ingesta. Esto permite aprovechar la poda de zonas y la compresión columnar, reduciendo el I/O y evitando el parseo de JSON. El resultado: consultas que antes expiraban a los 30 segundos ahora se resuelven en menos de un segundo. La funcionalidad se desplegará en febrero de 2026.
Consultas que antes expiraban a los 30 segundos ahora se completan en menos de un segundo.
- sgarland
Me parece hilarante cuando las empresas actúan como si hubieran hecho algún gran descubrimiento que es bien conocido por cualquiera que trabaje con bases de datos desde hace una década, si no más.
JSON es lentísimo, tanto para serdes como, sobre todo, para consultarlo. Úsalo con moderación, si acaso. La normalización no es tan difícil, y ahora es trivial con los LLM. Dile a Claude que quieres tu esquema en BCNF, o en 5NF si te sientes valiente. Desnormaliza si y solo si tienes problemas de rendimiento.
- zX41ZdbW
Esta es una técnica bastante antigua. En ClickHouse, apareció antes de que se llamara "shredding": https://github.com/ClickHouse/ClickHouse/issues/54864
- japgolly
> En lugar de almacenar todos los atributos en una única columna JSON, extraemos automáticamente los atributos a los que se accede con más frecuencia a columnas separadas y fuertemente tipadas.
Me alegra que hayan hecho el descubrimiento, pero esto es lo básico de las bases de datos