PostHog уходит с DuckDB: 2 ПБ и триллион строк оказались не по силам
Why we're moving our warehouse off DuckDB
PostHog перестроил свой облачный data warehouse на DuckDB, но масштаб клиентских нагрузок оказался выше ожиданий. Одиночный движок сложно безопасно запускать в облаке: ресурсы под запрос нужно резервировать заранее, а расширение DuckLake на 2 ПБ и триллион строк тормозило записи и раздувало каталог. Компания за три месяца переписала архитектуру на собственный вариант Trino и формат HogLake.
Мы предпочли бы внести вклад в существующее сообщество и помочь ему расти. Но мы не могли вносить изменения так быстро, как нам было нужно, поэтому в итоге несли патчи в форке, что сводит на нет одно из главных преимуществ использования DuckLake — сообщество.
- Aurornis
> Пять месяцев назад мы перестроили наш склад на DuckDB вместо ClickHouse
Они перешли с ClickHouse на DuckDB пять месяцев назад, а затем перешли с DuckDB на собственный производный от Trino?
Статья заканчивается, так и не сказав, решила ли новая конфигурация их проблемы.
Здорово, что теперь мы можем делать такие миграции с минимальным простоем (я полагаю?) и пробовать разные вещи, но мне бы хотелось прочитать больше о том, какое тестирование они провели перед тем, как прыгнуть. Тот факт, что они прыгнули в DuckDB, не осознавая, что это не будет работать в их масштабе, и провели с ним всего несколько месяцев, прежде чем снова прыгнуть, не убеждает.
Надеюсь, в этой истории есть больше, что просто не попало в блог-посты. Как написано, это вызывает у меня воспоминания о некоторых командах, с которыми я работал, которые меняли технологические стеки каждые шесть месяцев, потому что им нравилось мигрировать больше, чем настраивать и поддерживать.
- 0c3ca83
Я что-то упускаю, или единственная техническая деталь в посте — это «триллион строк — это много данных, может, попробовать Trino, и на этот раз получится»?
Похоже на много суеты и мало измерений или инженерии.
- bitpush
> Пять месяцев назад мы перестроили наш склад [1] на DuckDB вместо ClickHouse.
Зачем они написали этот пост, если даже не дали вещам устояться? Звучит так, будто кто-то хотел объявить о победе (и промо?)
- kwillets
Иногда компания просто не в состоянии управлять хранилищем данных; я работал в нескольких таких.
Я даже проходил телефонное собеседование с этой, но не смог охватить их сумасшедший лоскутный набор требований; в то время они также искали кого-то, кто перепишет оптимизатор ClickHouse, и застряли, пытаясь перешардировать свой кластер, что должно занимать один день.
Мне всё ещё нравится компания, потому что их бизнес-предложение напоминает мне то, что мы делали в 2009 году: своего рода федеративная аналитическая организация на централизованном хранилище данных, которая позволяет быстро разрабатывать множество инструментов в большом масштабе.
Но чёрт возьми, они продолжают выбирать эти полуработающие платформы и метаться от одной к другой. В 2010 году мы обрабатывали миллионы запросов к таблицам на 2 трлн строк на Vertica, и для клиентских аналитических приложений, которыми является PostHog, стало только лучше. Похоже, у компании нет базового представления о том, чего ожидать; рынок перенасыщен медленными инструментами, которые занижают ожидания.
- hasyimibhar
Интересно, рассматривали ли они возвращение к ClickHouse. Поддержка Iceberg в ClickHouse значительно улучшилась за последние несколько месяцев. Вы можете легко запустить ClickHouse без сохранения состояния поверх Iceberg. Это решает проблему мультиарендности и легко справляется с петабайтными масштабами [1].
[1] https://clickhouse.com/blog/jump-trading-uses-clickhouse-wit...
- avree
Давно не видел сайт PostHog. Боже, он уродлив.
- whinvik
Ключевой вывод, который я делаю из этого: по мере того, как миграции становятся проще с агентами, их будет гораздо больше.
Но что ещё важнее, многие из них будут происходить, потому что мы все станем более склонны начинать их. С другой стороны, я также не знаю, можно ли при таких масштабах, как у PostHog, успешно протестировать миграцию, не выполнив её всю.
- yukIttEft
Не уверен, что их клиенты с одним узлом будут довольны Trino
https://benchmark.clickhouse.com/#system=+Hoaus|ucqs|Tuts&ty...