Zerodha заменила SSDB на Blobasaur поверх SQLite и ускорила запись в 3,3 раза

Distributed, high-performance blob storage on SQLite

Zerodha заменила SSDB на Blobasaur поверх SQLite и ускорила запись в 3,3 раза

Zerodha построила Blobasaur — распределённый шардированный сервер блобов на Rust и SQLite, совместимый с протоколом Redis. Он заменил неподдерживаемый SSDB и обслуживает тысячи запросов в секунду к JSON-блокам от пары килобайт до нескольких мегабайт с задержкой в единицы миллисекунд. Шардирование и групповые коммиты подняли пропускную способность записи с 7 740 до 25 324 операций в секунду, а сжатие zstd уменьшает объём данных примерно в 11 раз.

С 16 шардами пропускная способность записи выросла в 3,3 раза, а медианная задержка записи упала с 8,2 мс до 2,1 мс.
  1. anacrolix

    Я потратил годы, пытаясь выжать этот сценарий использования из sqlite. Все дороги ведут к слезам, он не предназначен для этого.

    Я написал https://github.com/anacrolix/possum именно для этого случая. У него есть несколько шероховатостей, но для кэширования на диске он просто рвёт и мечет. Кстати, он использует sqlite для метаданных транзакций/TTL, что больше подходит для sqlite, но всё равно остаётся узким местом.

    Накладные расходы на фиксацию транзакций в sqlite слишком высоки и неконкурентоспособны без пакетной обработки, но это недостаток дизайна, связанный с многопроцессностью.

  2. lukax

    OpenStack Swift использует SQLite для хранения метаданных. У каждого аккаунта есть одна база SQLite. У каждого контейнера изначально тоже была одна база SQLite, но в 2018 году добавили поддержку шардирования, так что если в контейнере больше 1 миллиона объектов, контейнер разбивается на несколько баз SQLite. Производительность не идеальна. Ceph масштабируется гораздо лучше.

  3. gkamal

    Это выглядит как классический случай nih/изобретения велосипеда.

  4. bob1029

    > JSON-блобы

    Альтернативой более быстрому хранению блобов является представление схемы блоба напрямую в SQL.

    Если большинство обновлений блобов являются инкрементальными, вы можете значительно сократить объём дискового ввода-вывода и сборки мусора.

    Одна база SQLite на каждый тип блоба с метаданными в SQLite, которая отслеживает каждый из них. Мы могли бы задействовать мощные модели рассуждений ИИ для генерации схем SQLite и адаптеров виртуальных таблиц для каждого встречающегося типа JSON-схемы.

  5. matja

    Какова модель согласованности? Что произойдёт, если узел неожиданно упадёт?

Ещё за этот день

2026-11-19