Zerodha construye sobre SQLite un almacenamiento de blobs distribuido que procesa 1,66 GB/s
Distributed, high-performance blob storage on SQLite

Zerodha necesitaba reemplazar SSDB, sin mantenimiento y limitado a un solo nodo, para almacenar preferencias de usuario en Kite. Crearon Blobasaur, un servidor de blobs en Rust compatible con el protocolo Redis que fragmenta los datos en múltiples archivos SQLite. Con 16 fragmentos, la escritura escala 3,3 veces y mantiene latencias de milisegundos de un solo dígito, comprimiendo JSON repetitivo con zstd hasta 11 veces.
Con 16 fragmentos, el rendimiento de escritura aumenta 3,3 veces y la latencia mediana de escritura baja de 8,2 ms a 2,1 ms.
- anacrolix
Pasé años intentando exprimirle este caso de uso a sqlite. Todos los caminos llevan al llanto, no está hecho para este caso de uso.
Escribí https://github.com/anacrolix/possum exactamente para este caso de uso. Tiene algunas asperezas, pero va como un tiro para cachear en disco. Por cierto, usa sqlite para los metadatos de transacciones/TTL, que le sienta mejor a sqlite, pero aun así sigue siendo el cuello de botella.
El coste de confirmar transacciones en sqlite es demasiado alto y no es competitivo sin batching, pero eso es un defecto de diseño propio de ser multiproceso.
- lukax
OpenStack Swift usa SQLite para almacenar metadatos. Cada cuenta tiene una base de datos SQLite. Cada contenedor también tenía inicialmente una base de datos SQLite, pero en 2018 añadieron soporte para sharding, así que si un contenedor tiene más de 1 millón de objetos, el contenedor se divide en múltiples bases de datos SQLite. El rendimiento no es ideal. Ceph escala mucho mejor.
- gkamal
Esto parece un caso clásico de nih/reinventar la rueda.
- bob1029
> blobs JSON
Una alternativa a un almacenamiento de blobs más rápido es representar el esquema del blob directamente en SQL.
Si la mayoría de las actualizaciones de blobs son incrementales, así puedes eliminar una cantidad significativa de E/S de almacenamiento y de recolección de basura.
Una base de datos SQLite por tipo de blob con una base de datos SQLite de metadatos que haga seguimiento de cada una. Podríamos aprovechar potentes modelos de razonamiento de IA para producir esquemas SQLite y adaptadores de tablas virtuales para cada tipo de esquema JSON que nos encontremos.
- matja
¿Cuál es el modelo de consistencia? ¿Qué pasa si un nodo se cae inesperadamente?