PostHogが2PBのウェアハウスをDuckDBから移した理由
Why we're moving our warehouse off DuckDB
PostHogは5か月前、ClickHouseの代わりにDuckDBでデータウェアハウスを再構築した。しかし顧客のワークロードは想定をはるかに超えて複雑化し、単一ノードエンジンをクラウドで安全に動かすにはクエリ到着前にリソースを見積もる必要があるなど、使い勝手の悪さが露呈。DuckLakeは約2PB、1兆行、1530万スナップショットまで膨らみ、書き込みに3分以上かかることもあった。3か月かけてTrinoベースの独自エンジンと独自フォーマットHogLakeへと再設計した。
DuckDBは大好きだ。大量のデータを分析するための単一ノードツールとしては、おそらく最高だろう。そしてそのノードは自分のノートPCでもいい。堅牢で信頼性も高い。
HNでの議論
107- Aurornis
> 5ヶ月前、私たちはClickHouseではなくDuckDB上にウェアハウスを再構築しました
彼らは5ヶ月前にClickHouseからDuckDBに切り替え、その後DuckDBから自社のTrino派生に切り替えたのか？
記事はその後、新しいセットアップが問題を解決したかどうかを述べる前に終わっている。
ダウンタイムをほとんど伴わずにこうした移行ができるようになったのは素晴らしい（多分？）し、いろいろ試せるのもいいけど、飛びつく前にどんなテストをしたのかもっと読みたかった。スケール的にうまくいかないと気づかずにDuckDBに飛びつき、数ヶ月でまた飛びついたという事実は説得力がない。
ブログ記事には載らなかった話がもっとあることを願う。書かれている通りだと、チューニングやメンテナンスよりも移行が好きで半年ごとに技術スタックを変える、かつて一緒に働いたいくつかのチームを思い出す。
- 0c3ca83
ここで何か見落としているのか、それともこの投稿の唯一の技術的詳細は「1兆行は大量のデータだから、今度はTrinoを試せばうまくいくかも」ということだけなのか？
多くの混乱と、測定やエンジニアリングがあまりないように感じる。
- bitpush
> 5ヶ月前、私たちはClickHouseではなくDuckDB上にウェアハウス[1]を再構築しました。
物事が落ち着くのを待ちさえせずに、なぜこの記事を書いたのか。誰かが勝利を主張したかった（そしてプロモーション？）ように聞こえる。
- kwillets
時には企業がデータウェアハウスを管理できずに終わることもある。私もいくつかそういう会社で働いたことがある。
この会社の電話面接も受けたが、彼らの寄せ集めの要件をカバーできなかった。当時彼らはClickHouseのオプティマイザを書き直す人も探していたし、クラスタのリシャーディングで行き詰まっていた。それには午後一時間あれば十分なはずなのに。
それでもこの会社は好きだ。彼らのビジネス提案は、2009年に私たちがやっていたこと、つまり集中型データウェアハウス上で連合型分析組織を構築し、大規模に多くのツールを素早く開発できるようにすることを思い出させる。
しかし、彼らはいつも中途半端に動くプラットフォームを選び、あっちこっちにフリップフロップしている。2010年にはVertica上で2兆行のテーブルに対して数百万のクエリをさばいていたし、PostHogがそうであるような顧客向けデータアプリにとっては状況は良くなる一方だ。この会社には何を期待すべきかの基準がないようだ。市場は期待値を下げる遅いツールで飽和しすぎている。
- hasyimibhar
彼らがClickHouseに戻ることを検討したかどうか気になる。ClickHouseのIcebergサポートはここ数ヶ月で大幅に改善された。Iceberg上でステートレスなClickHouseを簡単に実行できる。これでテナンシーの問題が解決し、ペタバイト規模も容易に扱える[1]。
[1] https://clickhouse.com/blog/jump-trading-uses-clickhouse-wit...
- avree
Posthogのウェブサイトをしばらく見ていなかった。なんてこった、ひどいデザインだ。
- whinvik
ここから得られる重要な洞察は、エージェントによって移行が容易になるにつれて、移行の数がはるかに増えるということだ。
しかしもっと重要なのは、移行を始めることに対して私たち全員がより引き金を引きやすくなるため、多くの移行が起こるだろうということだ。一方で、PostHogのような規模では、すべてをやらずに成功した移行をテストできるのかどうかもわからない。
- yukIttEft
シングルノードの顧客がTrinoで喜ぶかどうかはわからない
https://benchmark.clickhouse.com/#system=+Hoaus|ucqs|Tuts&ty...