Onehouse, 벡터 DB 없이 Hudi·Iceberg 테이블에서 벡터 검색 구현
Lakegres: Vector search on existing Open/Hudi/Iceberg tables
Onehouse가 Lakegres에 벡터 검색을 추가했다. 벡터 인덱스를 별도 시스템이 아니라 기존 Hudi·Iceberg 테이블 안에 저장하는 방식으로, 인덱스는 데이터 파일을 다시 쓰지 않고 생성·삭제할 수 있는 파생 메타데이터다. 2억 4700만 개 벡터에서 웜 쿼리 중앙값 63.5ms를 기록했고, Databricks AI Search보다 약 10배 빠르다고 밝혔다.
벡터 검색은 애플리케이션 데이터베이스의 표준 기능이지만, 레이크와 웨어하우스의 데이터는 에이전트가 검색하기 전에 여전히 별도 검색 시스템으로 복사해야 한다.
- sherlockbeard
스트리밍 작업에서 벡터 인덱스가 일단 구축된 후에, 그것 때문에 발생하는 측정된 커밋 지연 오버헤드가 있나요? 벤치마크에서는 빌드 시간과 쿼리 지연은 다루지만 쓰기 경로 쪽은 다루지 않더군요.
- rjshmhndr
레이크에서 100ms 미만의 벡터 검색이라니 전례가 없는 일인데 - 꽤 인상적이네요
- jauntywundrkind
꽤 좋은 글인데, 문제를 다루고 다른 플레이어들이 무엇을 어떻게 하는지 조사하고 있나요?
공개된 게 있을까 찾아봤는데 (대부분은 제품 홍보더군요), 발견한 건:
> Iceberg 지원은 Apache XTable (Incubating)의 Hudi 기반 인덱싱 작업 위에 구축됩니다. 우리는 Uber와 Walmart의 엔지니어들과 함께 그들의 행성 규모 테이블을 지원하기 위해 이 설계를 공개적으로 개발했습니다. 공개 RFC는 스토리지 레이아웃, 쿼리 경로, 일관성 모델을 문서화합니다.
> 설계는 확정되었고 오늘날 Lakegres에 탑재되어 출시됩니다; Hudi 구현은 업스트림으로 올라가고 있으며 XTable은 다른 엔진들이 통합할 수 있는 OSS 릴리스에 앞서 릴리스 후보 테스트 중입니다.
인라인 링크 두 개와 함께, https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...