Zerodha заменила SSDB на Blobasaur поверх SQLite и ускорила запись в 3,3 раза
Distributed, high-performance blob storage on SQLite

Zerodha построила Blobasaur — распределённый шардированный сервер блобов на Rust и SQLite, совместимый с протоколом Redis. Он заменил неподдерживаемый SSDB и обслуживает тысячи запросов в секунду к JSON-блокам от пары килобайт до нескольких мегабайт с задержкой в единицы миллисекунд. Шардирование и групповые коммиты подняли пропускную способность записи с 7 740 до 25 324 операций в секунду, а сжатие zstd уменьшает объём данных примерно в 11 раз.
С 16 шардами пропускная способность записи выросла в 3,3 раза, а медианная задержка записи упала с 8,2 мс до 2,1 мс.
- anacrolix
Я потратил годы, пытаясь выжать этот сценарий использования из sqlite. Все дороги ведут к слезам, он не предназначен для этого.
Я написал https://github.com/anacrolix/possum именно для этого случая. У него есть несколько шероховатостей, но для кэширования на диске он просто рвёт и мечет. Кстати, он использует sqlite для метаданных транзакций/TTL, что больше подходит для sqlite, но всё равно остаётся узким местом.
Накладные расходы на фиксацию транзакций в sqlite слишком высоки и неконкурентоспособны без пакетной обработки, но это недостаток дизайна, связанный с многопроцессностью.
- lukax
OpenStack Swift использует SQLite для хранения метаданных. У каждого аккаунта есть одна база SQLite. У каждого контейнера изначально тоже была одна база SQLite, но в 2018 году добавили поддержку шардирования, так что если в контейнере больше 1 миллиона объектов, контейнер разбивается на несколько баз SQLite. Производительность не идеальна. Ceph масштабируется гораздо лучше.
- gkamal
Это выглядит как классический случай nih/изобретения велосипеда.
- bob1029
> JSON-блобы
Альтернативой более быстрому хранению блобов является представление схемы блоба напрямую в SQL.
Если большинство обновлений блобов являются инкрементальными, вы можете значительно сократить объём дискового ввода-вывода и сборки мусора.
Одна база SQLite на каждый тип блоба с метаданными в SQLite, которая отслеживает каждый из них. Мы могли бы задействовать мощные модели рассуждений ИИ для генерации схем SQLite и адаптеров виртуальных таблиц для каждого встречающегося типа JSON-схемы.
- matja
Какова модель согласованности? Что произойдёт, если узел неожиданно упадёт?