ZerodhaがSQLiteで毎秒数万件のblobをさばく分散ストレージを構築
Distributed, high-performance blob storage on SQLite

Zerodhaは、約2000万人が使う取引プラットフォームKiteのユーザー設定JSONを保存するため、Rust製の分散blobストレージ「Blobasaur」を開発した。SQLiteをストレージエンジンに採用し、キーを複数のシャードに分割、シャードごとのライターが書き込みをまとめてコミットする。16シャード構成では書き込みスループットが3.3倍になり、64KiBのblobを毎秒2万5000件以上処理しながら1桁ミリ秒のレイテンシを維持する。保守されなくなったSSDBを置き換え、本番運用中だ。
SQLiteは生のファイルシステムに欠けていたものをほぼすべて与えてくれた。小さいblobなら、SQLiteは生のファイルシステムI/Oより最大35%高速だ。
HNでの議論
60- anacrolix
何年もかけてこのユースケースをSQLiteで実現しようと試行錯誤してきました。どの道も涙に終わります。SQLiteはこのユースケース向けに作られていません。
まさにこのユースケースのために https://github.com/anacrolix/possum を書きました。いくつか粗削りな部分はありますが、ディスク上のキャッシュとしては絶対的な速さを誇ります。ちなみに、トランザクション/TTLのメタデータにはSQLiteを使っています。そちらはSQLiteに向いていますが、それでもボトルネックです。
SQLiteのトランザクションコミットのオーバーヘッドは高すぎて、バッチ処理なしでは競争力がありません。しかしこれはマルチプロセスであることに特有の設計上の欠陥です。
- lukax
OpenStack Swiftはメタデータの保存にSQLiteを使っています。各アカウントに1つのSQLiteデータベースがあります。各コンテナも当初は1つのSQLiteデータベースを持っていましたが、2018年にシャーディングのサポートが追加され、コンテナに100万を超えるオブジェクトがある場合は複数のSQLiteデータベースに分割されるようになりました。パフォーマンスは理想的ではありません。Cephの方がはるかにスケールします。
- gkamal
これは典型的な車輪の再発明(nih/reinventing wheel)のケースに見えます。
- bob1029
> JSONブロブ
より高速なブロブストレージの代替案として、ブロブのスキーマを直接SQLで表現する方法があります。
ほとんどのブロブ更新がインクリメンタルであれば、この方法でストレージI/Oとガベージコレクションの量を大幅に削減できます。
ブロブタイプごとに1つのSQLiteデータベースを用意し、それぞれを追跡するメタデータ用のSQLiteデータベースを用意します。強力なAI推論モデルを活用して、遭遇する各JSONスキーマタイプに対してSQLiteスキーマと仮想テーブルアダプタを生成できます。
- matja
一貫性モデルは何ですか?ノードが予期せずダウンした場合はどうなりますか?