Zerodha, SQLite로 초당 수천 건 처리하는 분산 블롭 저장소 직접 구축

Distributed, high-performance blob storage on SQLite

Zerodha, SQLite로 초당 수천 건 처리하는 분산 블롭 저장소 직접 구축

Zerodha가 약 2천만 Kite 사용자의 UI 설정과 차트 레이아웃을 저장하기 위해 SQLite 기반 분산 블롭 서버 Blobasaur를 Rust로 개발했다. 유지보수가 중단된 SSDB를 대체한 이 시스템은 샤딩과 그룹 커밋, zstd 압축을 통해 상용 하드웨어에서 초당 수만 건의 읽기·쓰기를 한 자릿수 밀리초 지연으로 처리하며, 이미 프로덕션에 적용됐다.

16개 샤드로 쓰기 처리량이 3.3배 증가하고 쓰기 지연 중앙값이 8.2ms에서 2.1ms로 떨어졌다.
  1. anacrolix

    나는 이 사용 사례를 sqlite로 해결하려고 몇 년을 씨름했다. 모든 길은 눈물로 이어졌고, sqlite는 이런 용도로 만들어진 게 아니다.

    나는 바로 이 사용 사례를 위해 https://github.com/anacrolix/possum 를 작성했다. 몇 가지 거친 부분이 있지만 디스크 캐싱에서는 엄청난 성능을 낸다. 덧붙여 말하자면 트랜잭션/TTL 메타데이터에는 sqlite를 사용하는데, 이는 sqlite에 더 적합한 용도임에도 여전히 병목이다.

    sqlite 트랜잭션 커밋 오버헤드는 너무 높고 배치 처리 없이는 경쟁력이 없다. 하지만 이는 멀티프로세스라는 특성에서 비롯된 설계 결함이다.

  2. lukax

    OpenStack Swift는 메타데이터 저장에 SQLite를 사용한다. 각 계정에는 하나의 SQLite db가 있다. 각 컨테이너도 처음에는 하나의 SQLite db를 가졌지만 2018년에 샤딩 지원을 추가하여 컨테이너에 100만 개 이상의 객체가 있으면 여러 SQLite 데이터베이스로 분할된다. 성능은 이상적이지 않다. Ceph가 훨씬 더 잘 확장된다.

  3. gkamal

    이것은 전형적인 바퀴 재발명(nih/reinventing wheel) 사례로 보인다.

  4. bob1029

    > JSON 블롭

    더 빠른 블롭 저장소의 대안은 블롭의 스키마를 SQL로 직접 표현하는 것이다.

    대부분의 블롭 업데이트가 증분 방식이라면 이 방법으로 상당한 양의 저장소 I/O와 가비지 컬렉션을 줄일 수 있다.

    블롭 유형당 하나의 SQLite 데이터베이스와 각각을 추적하는 메타데이터 SQLite db를 두자. 강력한 AI 추론 모델을 활용해 마주치는 각 JSON 스키마 유형에 대한 SQLite 스키마와 가상 테이블 어댑터를 생성할 수 있다.

  5. matja

    일관성 모델은 무엇인가? 노드가 예기치 않게 다운되면 어떻게 되는가?

이 날의 다른 글

2026-11-19