Onehouse, 벡터 DB 없이 Hudi·Iceberg 테이블에서 벡터 검색 구현

Lakegres: Vector search on existing Open/Hudi/Iceberg tables

Onehouse가 Lakegres에 벡터 검색을 추가했다. 벡터 인덱스를 별도 시스템이 아니라 기존 Hudi·Iceberg 테이블 안에 저장하는 방식으로, 인덱스는 데이터 파일을 다시 쓰지 않고 생성·삭제할 수 있는 파생 메타데이터다. 2억 4700만 개 벡터에서 웜 쿼리 중앙값 63.5ms를 기록했고, Databricks AI Search보다 약 10배 빠르다고 밝혔다.

벡터 검색은 애플리케이션 데이터베이스의 표준 기능이지만, 레이크와 웨어하우스의 데이터는 에이전트가 검색하기 전에 여전히 별도 검색 시스템으로 복사해야 한다.
  1. sherlockbeard

    스트리밍 작업에서 벡터 인덱스가 일단 구축된 후에, 그것 때문에 발생하는 측정된 커밋 지연 오버헤드가 있나요? 벤치마크에서는 빌드 시간과 쿼리 지연은 다루지만 쓰기 경로 쪽은 다루지 않더군요.

  2. rjshmhndr

    레이크에서 100ms 미만의 벡터 검색이라니 전례가 없는 일인데 - 꽤 인상적이네요

  3. jauntywundrkind

    꽤 좋은 글인데, 문제를 다루고 다른 플레이어들이 무엇을 어떻게 하는지 조사하고 있나요?

    공개된 게 있을까 찾아봤는데 (대부분은 제품 홍보더군요), 발견한 건:

    > Iceberg 지원은 Apache XTable (Incubating)의 Hudi 기반 인덱싱 작업 위에 구축됩니다. 우리는 Uber와 Walmart의 엔지니어들과 함께 그들의 행성 규모 테이블을 지원하기 위해 이 설계를 공개적으로 개발했습니다. 공개 RFC는 스토리지 레이아웃, 쿼리 경로, 일관성 모델을 문서화합니다.

    > 설계는 확정되었고 오늘날 Lakegres에 탑재되어 출시됩니다; Hudi 구현은 업스트림으로 올라가고 있으며 XTable은 다른 엔진들이 통합할 수 있는 OSS 릴리스에 앞서 릴리스 후보 테스트 중입니다.

    인라인 링크 두 개와 함께, https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...

이 날의 다른 글

2026-11-18