PostHog, 2PB 규모에서 DuckDB를 떠나다
Why we're moving our warehouse off DuckDB
PostHog는 5개월 전 ClickHouse 대신 DuckDB로 데이터 웨어하우스를 재구축했지만, 고객 쿼리가 예상보다 복잡해지면서 단일 노드 엔진의 한계에 부딪혔다. DuckLake 카탈로그의 통계 행이 99% 이상 죽은 테이블에 속해 쓰기 지연이 3분을 넘는 등 확장성 문제가 드러났고, 결국 2PB·1조 행 규모에서 자체 Trino와 HogLake로 재설계했다. Postgres 프로토콜 지원의 어려움도 주요 원인이었다.
우리는 DuckDB를 사랑한다. 아마 방대한 데이터를 분석하는 최고의 단일 노드 도구일 것이다. 그 노드가 당신의 노트북이 될 수도 있다.
HN 토론
107- Aurornis
> 5개월 전, 우리는 ClickHouse 대신 DuckDB로 웨어하우스를 재구축했습니다
5개월 전에 ClickHouse에서 DuckDB로 전환했고, 그다음 DuckDB에서 자체 Trino 파생 버전으로 전환했다고?
그리고 글은 새 설정이 문제를 해결했는지 말하기 전에 끝난다.
이제 거의 다운타임 없이(아마도?) 이런 마이그레이션을 하고 여러 가지를 시도할 수 있다는 건 좋은데, 뛰어들기 전에 어떤 테스트를 했는지 더 읽고 싶었다. DuckDB로 뛰어들면서 그들의 규모에서는 안 될 거라는 걸 깨닫지 못했고, 다시 뛰어들기 전까지 몇 달만 썼다는 사실은 설득력이 없다.
블로그 글에 담기지 않은 더 많은 이야기가 있기를 바란다. 쓰인 대로라면, 튜닝과 유지보수보다 마이그레이션을 좋아해서 6개월마다 기술 스택을 바꾸던 몇몇 팀이 떠오른다.
- 0c3ca83
내가 뭔가 놓치고 있는 건가, 아니면 이 글의 유일한 기술적 세부 사항이 "1조 행은 데이터가 많으니, 이번엔 Trino를 시도하면 될지도"라는 건가?
측정이나 엔지니어링은 별로 없고 그냥 많은 소란만 있는 것 같다.
- bitpush
> 5개월 전, 우리는 ClickHouse 대신 DuckDB로 웨어하우스[1]를 재구축했습니다.
상황이 진정될 기회조차 주지 않았다면 왜 이 글을 썼을까. 누군가 승리를 주장하고 싶었던 것 같다(그리고 홍보도?).
- kwillets
때로는 회사가 데이터 웨어하우스를 관리하지 못하는 경우가 있다; 나는 몇 군데에서 일해봤다.
이 회사와 전화 면접도 봤지만 그들의 정신없이 얽힌 요구 사항을 다 커버할 수 없었다; 그 당시 그들은 ClickHouse 옵티마이저를 다시 작성할 사람도 찾고 있었고, 클러스터를 다시 샤딩하는 데 막혀 있었는데, 그건 오후면 끝날 일이었다.
나는 여전히 이 회사를 좋아한다. 그들의 비즈니스 제안이 2009년에 우리가 하던 일을 떠올리게 하기 때문이다. 중앙 집중식 데이터 웨어하우스 위에 연합 분석 조직 같은 것으로, 대규모에서 많은 도구를 빠르게 개발할 수 있게 해준다.
하지만 빌어먹을, 그들은 계속 반쯤 작동하는 플랫폼을 고르고 이리저리 갈아탄다. 우리는 2010년에 Vertica에서 2조 행 테이블에 수백만 건의 쿼리를 처리하고 있었고, 고객 대상 데이터 앱(Posthog가 바로 그런 것)에는 상황이 더 나아졌을 뿐이다. 이 회사는 무엇을 기대해야 하는지에 대한 기준선이 없는 것 같다; 시장은 기대치를 낮추는 느린 도구로 너무 포화되어 있다.
- hasyimibhar
그들이 ClickHouse로 돌아가는 것을 고려했는지 궁금하다. ClickHouse의 Iceberg 지원은 지난 몇 달 동안 많이 개선되었다. Iceberg 위에서 상태 없는 ClickHouse를 쉽게 실행할 수 있다. 이는 테넌시 문제를 해결하고 페타바이트 규모도 쉽게 처리할 수 있다[1].
[1] https://clickhouse.com/blog/jump-trading-uses-clickhouse-wit...
- avree
Posthog 웹사이트를 한동안 못 봤는데. 세상에, 끔찍하네.
- whinvik
내가 얻는 핵심 통찰은 에이전트로 마이그레이션이 더 쉬워질수록 마이그레이션이 훨씬 더 많아질 것이라는 점이다.
하지만 더 중요한 것은, 우리 모두가 마이그레이션을 시작하는 데 더 충동적으로 변할 것이기 때문에 많은 마이그레이션이 일어날 것이라는 점이다. 반면에 PostHog 같은 규모에서는 전부 해보지 않고는 성공적인 마이그레이션을 테스트할 수 있을지도 모르겠다.
- yukIttEft
그들의 단일 노드 고객들이 Trino에 만족할지 모르겠다
https://benchmark.clickhouse.com/#system=+Hoaus|ucqs|Tuts&ty...