Zerodha ersetzt SSDB durch Blobasaur: SQLite speichert Tausende Blobs pro Sekunde
Distributed, high-performance blob storage on SQLite

Zerodha brauchte für seine Trading-Plattform Kite mit rund 20 Millionen Kunden einen Ersatz für das nicht mehr gepflegte SSDB. Die Lösung heißt Blobasaur: ein in Rust geschriebener, geshardeter Blob-Server, der das Redis-Protokoll spricht und SQLite als Speicher-Engine nutzt. Mit 16 Shards steigt der Schreibdurchsatz um das 3,3-Fache auf über 25.000 HSET-Operationen pro Sekunde bei p99-Latenzen unter 9 ms – auf handelsüblicher Hardware.
Wir haben zwei und zwei zusammengezählt und uns gefragt: Warum bauen wir nicht einfach ein System auf SQLite, das Millionen von Blobs speichert, und schauen, was passiert?
- anacrolix
Ich habe Jahre damit verbracht, diesen Anwendungsfall aus SQLite herauszuquetschen. Alle Wege führen zu Tränen, es ist nicht für diesen Anwendungsfall gemacht.
Ich habe https://github.com/anacrolix/possum genau für diesen Anwendungsfall geschrieben. Es hat ein paar Ecken und Kanten, aber es zieht beim Caching auf der Festplatte absolut ab. Übrigens verwendet es SQLite für Transaktions-/TTL-Metadaten, was besser zu SQLite passt, aber es ist immer noch der Flaschenhals.
Der Overhead für das Festschreiben von SQLite-Transaktionen ist zu hoch und ohne Batching nicht konkurrenzfähig, aber das ist ein Designfehler, der spezifisch für Multiprozess-Betrieb ist.
- lukax
OpenStack Swift verwendet SQLite zum Speichern von Metadaten. Jedes Konto hat eine SQLite-Datenbank. Jeder Container hatte anfangs auch eine SQLite-Datenbank, aber 2018 wurde Unterstützung für Sharding hinzugefügt, sodass ein Container mit mehr als 1 Million Objekten in mehrere SQLite-Datenbanken aufgeteilt wird. Die Leistung ist nicht ideal. Ceph skaliert viel besser.
- gkamal
Das sieht aus wie ein klassischer Fall von NIH/Neuerfindung des Rads.
- bob1029
> JSON-Blobs
Eine Alternative zu schnellerem Blob-Speicher ist, das Schema des Blobs direkt in SQL abzubilden.
Wenn die meisten Blob-Updates inkrementell sind, kann man auf diese Weise einen erheblichen Teil der Speicher-IO und Garbage Collection einsparen.
Eine SQLite-Datenbank pro Blob-Typ mit einer Metadaten-SQLite-DB, die jeden einzelnen verfolgt. Wir könnten leistungsstarke KI-Reasoning-Modelle nutzen, um SQLite-Schemata und Virtual-Table-Adapter für jeden vorkommenden JSON-Schema-Typ zu erzeugen.
- matja
Was ist das Konsistenzmodell? Was passiert, wenn ein Knoten unerwartet ausfällt?