Zerodha 用 SQLite 构建分布式 Blob 存储
Distributed, high-performance blob storage on SQLite

在 Zerodha 的 Kite 交易平台上,我们每天要处理千万级的用户偏好配置,这些 JSON 格式的 Blob 数据从几 KB 到几 MB 不等。面对旧方案 SSDB 停止维护且无法水平扩展的困境,我们决定另辟蹊径。经过对 ScyllaDB、PostgreSQL 和 S3 等多种方案的评估,我们最终选择了 SQLite。我们开发了 Blobasaur,一个基于 Rust 和 SQLite 的开源分片存储服务器,它通过 Redis 协议提供服务。通过分片策略、批量提交和 zstd 压缩,我们在普通硬件上实现了每秒数万次的高吞吐读写,同时保持个位数的毫秒级延迟。这不仅解决了扩展性问题,还大幅降低了运维复杂度。
我们构建了一个名为 Blobasaur 的开源分片 Blob 存储服务器,它基于 SQLite 构建,使用 Rust 编写,并支持 Redis 协议。