OnehouseのLakegres、既存のHudi/Icebergテーブルにベクトル検索を直接組み込む
Lakegres: Vector search on existing Open/Hudi/Iceberg tables
OnehouseはLakegresにベクトル検索機能を追加した。インデックスは既存および新規のHudi・Icebergテーブル内に保存され、データファイルを書き換えずに構築・削除できる。ベクトルをクラスタ化し量子化コードで保持、テーブル書き込みのコミットで自動維持される。2億4700万ベクトルで中央値63.5ms、Databricks AI Searchより約10倍高速だと主張している。
インデックスは派生メタデータであり、テーブルのデータファイルを書き換えることなく構築も削除もできる。
- sherlockbeard
ベクトルインデックスをストリーミングジョブに組み込んだ場合、構築後のコミットレイテンシのオーバーヘッドは計測されていますか?ベンチマークでは構築時間とクエリレイテンシは出ていますが、書き込みパス周りのものはありません。
- rjshmhndr
レイク上で100msec未満のベクトル検索は前例がない - かなり impressive
- jauntywundrkind
なかなか良い記事で、課題について語り、他のプレイヤーが何をどうやっているかを概観している?
オープンなものが出るのか見てみようと探したが(ほとんどは製品の売り込みだ)、見つけたのは:
> Icebergサポートは、Apache XTable(Incubating)におけるHudiベースのインデックス作業の上に構築されています。我々はUberとWalmartのエンジニアと共に、彼らの惑星規模のテーブルを支えるために、オープンな場で設計を進めました。公開RFCにはストレージレイアウト、クエリパス、一貫性モデルが記述されています。
> 設計は確定しており、Lakegresで本日出荷されます。Hudi実装はアップストリーム化が進められており、XTableは他のエンジンが統合できるOSSリリースに向けてリリース候補のテスト中です。
インラインで2つのリンク付き、https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...