Logfire beschleunigt JSON-Abfragen um das 1000-Fache durch dynamisches Shredding
Shredding JSON columns gave Logfire up to 1000x faster queries
Logfire hat eine Optimierung namens dynamisches Shredding eingeführt, die JSON-Attribute in stark typisierte Spalten aufteilt. Dadurch werden Abfragen, die zuvor nach 30 Sekunden timeouteten, in unter einer Sekunde abgeschlossen – in einigen Fällen bis zu 1000-mal schneller. Die Funktion wird ab Februar 2026 für alle Kunden ausgerollt.
„Seeing much faster <customer_attribute> query times! Feels basically instant now“, sagt ein Early-Access-Kunde.
- sgarland
Ich finde es zum Schreien komisch, wenn Unternehmen so tun, als hätten sie eine riesige Entdeckung gemacht, die jedem, der in den letzten zehn Jahren oder länger mit DBs arbeitet, längst bekannt ist.
JSON ist höllisch langsam, sowohl bei Serdes als auch besonders beim Abfragen. Setzt es sparsam ein, wenn überhaupt. Normalisierung ist nicht so schwer, und mit LLMs ist sie jetzt trivial. Sagt Claude, dass ihr euer Schema in BCNF wollt, oder in 5NF, wenn ihr euch mutig fühlt. Denormalisiert genau dann und nur dann, wenn ihr Performance-Probleme habt.
- zX41ZdbW
Das ist eine ziemlich alte Technik. In ClickHouse tauchte sie auf, bevor sie "shredding" genannt wurde: https://github.com/ClickHouse/ClickHouse/issues/54864
- japgolly
> Anstatt alle Attribute in einer einzigen JSON-Spalte zu speichern, extrahieren wir automatisch die am häufigsten zugegriffenen Attribute in separate, stark typisierte Spalten.
Ich freue mich, dass sie die Entdeckung gemacht haben, aber das ist DB 101