PostHog zieht sein 2-PB-Warehouse von DuckDB ab
Why we're moving our warehouse off DuckDB
PostHog hatte sein Data Warehouse vor fünf Monaten auf DuckDB aufgebaut, um Kunden eigene Instanzen zu geben. Doch die Workloads wuchsen schneller als erwartet: DuckLake-Schreibvorgänge dauerten über drei Minuten, über 99 % der Katalogstatistiken gehörten nicht mehr existierenden Tabellen, und Postgres-Kompatibilität erwies sich als schwer skalierbar. Nach drei Monaten Neuarchitektur setzt PostHog nun auf eine eigene Trino-Variante und das offene Tabellenformat HogLake.
Wir haben gelernt, die Technologie hinter einem Warehouse nicht so sehr zu hypen. Was zählt, ist die Erfahrung, die sie dir bietet.
- Aurornis
> Vor fünf Monaten haben wir unser Warehouse auf DuckDB statt ClickHouse neu aufgebaut
Sie sind vor fünf Monaten von ClickHouse zu DuckDB gewechselt und dann von DuckDB zu ihrem eigenen Trino-Derivat?
Der Artikel endet dann, bevor gesagt wird, ob das neue Setup ihre Probleme gelöst hat.
Es ist großartig, dass wir diese Migrationen jetzt mit wenig Ausfallzeit durchführen können (nehme ich an?) und verschiedene Dinge ausprobieren können, aber ich wünschte, wir könnten mehr darüber lesen, was sie getestet haben, bevor sie den Sprung gewagt haben. Die Tatsache, dass sie zu DuckDB gewechselt sind, ohne zu erkennen, dass es in ihrem Maßstab nicht funktionieren würde, und nur ein paar Monate damit verbracht haben, bevor sie erneut gewechselt sind, ist nicht überzeugend.
Ich hoffe, es gibt mehr zu dieser Geschichte, das es einfach nicht in die Blogposts geschafft hat. So wie es geschrieben ist, löst es bei mir Flashbacks zu einigen Teams aus, mit denen ich gearbeitet habe und die alle sechs Monate den Tech-Stack gewechselt haben, weil sie Migrationen lieber mochten als Tuning und Wartung.
- 0c3ca83
Übersehe ich hier etwas, oder ist das einzige technische Detail im Beitrag "eine Billion Zeilen sind eine Menge Daten, vielleicht funktioniert Trino dieses Mal"?
Es fühlt sich nach viel Aufruhr und nicht nach vielen Messungen oder Engineering an.
- bitpush
> Vor fünf Monaten haben wir unser Warehouse [1] auf DuckDB statt ClickHouse neu aufgebaut.
Warum haben sie diesen Beitrag geschrieben, wenn sie die Dinge nicht einmal haben zur Ruhe kommen lassen. Es klingt, als wollte jemand einen Sieg beanspruchen (und Promo?)
- kwillets
Manchmal ist ein Unternehmen einfach nicht in der Lage, ein Data Warehouse zu verwalten; ich habe für ein paar gearbeitet.
Ich hatte sogar ein Telefoninterview mit diesem, konnte aber ihren Flickenteppich an Anforderungen nicht abdecken; damals suchten sie auch jemanden, der den ClickHouse-Optimizer neu schreibt, und sie steckten fest beim Versuch, ihren Cluster neu zu sharden, was einen Nachmittag dauern sollte.
Ich mag das Unternehmen immer noch, weil ihr Geschäftsmodell mich an das erinnert, was wir 2009 gemacht haben, eine Art föderierte Analyseorganisation auf einem zentralisierten Data Warehouse, die es ermöglicht, viele Tools schnell im großen Maßstab zu entwickeln.
Aber verdammt noch mal, sie wählen ständig diese halb funktionierenden Plattformen und springen von einer zur anderen. Wir haben 2010 Millionen von Abfragen gegen 2-Billionen-Zeilen-Tabellen auf Vertica abgefeuert, und es ist für kundenorientierte Daten-Apps, die PostHog ist, nur besser geworden. Das Unternehmen scheint keine Baseline zu haben, was zu erwarten ist; der Markt ist zu gesättigt mit langsamen Tools, die die Erwartungen senken.
- hasyimibhar
Ich frage mich, ob sie in Betracht gezogen haben, zu ClickHouse zurückzukehren. Die ClickHouse-Iceberg-Unterstützung hat sich in den letzten Monaten stark verbessert. Man kann ClickHouse problemlos zustandslos auf Iceberg laufen lassen. Das löst das Mandantenproblem, und es kann problemlos Petabyte-Maßstab bewältigen [1].
[1] https://clickhouse.com/blog/jump-trading-uses-clickhouse-wit...
- avree
Habe die Website von PostHog eine Weile nicht gesehen. Mann, ist die hässlich.
- whinvik
Die zentrale Erkenntnis, die ich daraus ziehe, ist, dass es viel mehr Migrationen geben wird, da Migrationen mit Agenten einfacher durchzuführen werden.
Aber noch wichtiger ist, dass viele davon stattfinden werden, weil wir alle schneller dabei sein werden, eine zu starten. Andererseits weiß ich auch nicht, ob bei Maßstäben wie PostHog eine erfolgreiche Migration getestet werden kann, ohne sie vollständig durchzuführen.
- yukIttEft
Ich bin mir nicht sicher, ob ihre Single-Node-Kunden mit Trino zufrieden sein werden
https://benchmark.clickhouse.com/#system=+Hoaus|ucqs|Tuts&ty...