OnehouseのLakegres、既存のHudi/Icebergテーブルにベクトル検索を直接組み込む

Lakegres: Vector search on existing Open/Hudi/Iceberg tables

OnehouseはLakegresにベクトル検索機能を追加した。インデックスは既存および新規のHudi・Icebergテーブル内に保存され、データファイルを書き換えずに構築・削除できる。ベクトルをクラスタ化し量子化コードで保持、テーブル書き込みのコミットで自動維持される。2億4700万ベクトルで中央値63.5ms、Databricks AI Searchより約10倍高速だと主張している。

インデックスは派生メタデータであり、テーブルのデータファイルを書き換えることなく構築も削除もできる。
  1. sherlockbeard

    ベクトルインデックスをストリーミングジョブに組み込んだ場合、構築後のコミットレイテンシのオーバーヘッドは計測されていますか?ベンチマークでは構築時間とクエリレイテンシは出ていますが、書き込みパス周りのものはありません。

  2. rjshmhndr

    レイク上で100msec未満のベクトル検索は前例がない - かなり impressive

  3. jauntywundrkind

    なかなか良い記事で、課題について語り、他のプレイヤーが何をどうやっているかを概観している?

    オープンなものが出るのか見てみようと探したが(ほとんどは製品の売り込みだ)、見つけたのは:

    > Icebergサポートは、Apache XTable(Incubating)におけるHudiベースのインデックス作業の上に構築されています。我々はUberとWalmartのエンジニアと共に、彼らの惑星規模のテーブルを支えるために、オープンな場で設計を進めました。公開RFCにはストレージレイアウト、クエリパス、一貫性モデルが記述されています。

    > 設計は確定しており、Lakegresで本日出荷されます。Hudi実装はアップストリーム化が進められており、XTableは他のエンジンが統合できるOSSリリースに向けてリリース候補のテスト中です。

    インラインで2つのリンク付き、https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...

この日のほかの記事

2026-11-18