Zerodha ersetzt SSDB durch Blobasaur: SQLite speichert Tausende Blobs pro Sekunde

Distributed, high-performance blob storage on SQLite

Zerodha ersetzt SSDB durch Blobasaur: SQLite speichert Tausende Blobs pro Sekunde

Zerodha brauchte für seine Trading-Plattform Kite mit rund 20 Millionen Kunden einen Ersatz für das nicht mehr gepflegte SSDB. Die Lösung heißt Blobasaur: ein in Rust geschriebener, geshardeter Blob-Server, der das Redis-Protokoll spricht und SQLite als Speicher-Engine nutzt. Mit 16 Shards steigt der Schreibdurchsatz um das 3,3-Fache auf über 25.000 HSET-Operationen pro Sekunde bei p99-Latenzen unter 9 ms – auf handelsüblicher Hardware.

Wir haben zwei und zwei zusammengezählt und uns gefragt: Warum bauen wir nicht einfach ein System auf SQLite, das Millionen von Blobs speichert, und schauen, was passiert?
  1. anacrolix

    Ich habe Jahre damit verbracht, diesen Anwendungsfall aus SQLite herauszuquetschen. Alle Wege führen zu Tränen, es ist nicht für diesen Anwendungsfall gemacht.

    Ich habe https://github.com/anacrolix/possum genau für diesen Anwendungsfall geschrieben. Es hat ein paar Ecken und Kanten, aber es zieht beim Caching auf der Festplatte absolut ab. Übrigens verwendet es SQLite für Transaktions-/TTL-Metadaten, was besser zu SQLite passt, aber es ist immer noch der Flaschenhals.

    Der Overhead für das Festschreiben von SQLite-Transaktionen ist zu hoch und ohne Batching nicht konkurrenzfähig, aber das ist ein Designfehler, der spezifisch für Multiprozess-Betrieb ist.

  2. lukax

    OpenStack Swift verwendet SQLite zum Speichern von Metadaten. Jedes Konto hat eine SQLite-Datenbank. Jeder Container hatte anfangs auch eine SQLite-Datenbank, aber 2018 wurde Unterstützung für Sharding hinzugefügt, sodass ein Container mit mehr als 1 Million Objekten in mehrere SQLite-Datenbanken aufgeteilt wird. Die Leistung ist nicht ideal. Ceph skaliert viel besser.

  3. gkamal

    Das sieht aus wie ein klassischer Fall von NIH/Neuerfindung des Rads.

  4. bob1029

    > JSON-Blobs

    Eine Alternative zu schnellerem Blob-Speicher ist, das Schema des Blobs direkt in SQL abzubilden.

    Wenn die meisten Blob-Updates inkrementell sind, kann man auf diese Weise einen erheblichen Teil der Speicher-IO und Garbage Collection einsparen.

    Eine SQLite-Datenbank pro Blob-Typ mit einer Metadaten-SQLite-DB, die jeden einzelnen verfolgt. Wir könnten leistungsstarke KI-Reasoning-Modelle nutzen, um SQLite-Schemata und Virtual-Table-Adapter für jeden vorkommenden JSON-Schema-Typ zu erzeugen.

  5. matja

    Was ist das Konsistenzmodell? Was passiert, wenn ein Knoten unerwartet ausfällt?

Mehr von diesem Tag

2026-11-19