Lakegres bringt Vektorsuche direkt in Hudi- und Iceberg-Tabellen – ohne separate Vektordatenbank

Lakegres: Vector search on existing Open/Hudi/Iceberg tables

Vektorsuche gehört in Anwendungsdatenbanken längst zum Standard, doch Daten im Lake müssen dafür meist in ein separates Suchsystem kopiert werden. Onehouse integriert die Vektorsuche nun direkt in Lakegres: Der Index liegt als abgeleitete Metadaten in bestehenden und neuen Hudi- und Iceberg-Tabellen und lässt sich aufbauen oder verwerfen, ohne die Datendateien neu zu schreiben. Bei 247 Millionen Vektoren antworten warme Abfragen im Median in 63,5 ms – rund zehnmal schneller als Databricks AI Search.

Der Index ist abgeleitete Metadaten: Man kann ihn aufbauen oder verwerfen, ohne die Datendateien der Tabelle neu zu schreiben.
  1. sherlockbeard

    Gibt es einen messbaren Overhead bei der Commit-Latenz durch den Vektorindex in einem Streaming-Job, sobald er aufgebaut ist? Der Beitrag zeigt Benchmarks für Build-Zeit + Query-Latenz, aber nicht für den Schreibpfad.

  2. rjshmhndr

    Vektorsuche mit < 100 ms auf einem Lake ist unerhört – ziemlich beeindruckend

  3. jauntywundrkind

    Ziemlich guter Artikel, der das Problem anspricht und untersucht, was und wie andere Akteure es machen?

    Ich habe gesucht, ob es etwas Offenes geben wird (meist ist es ein Produkt-Pitch), und gefunden:

    > Die Iceberg-Unterstützung baut auf der Hudi-basierten Indexierungsarbeit in Apache XTable (Incubating) auf. Wir haben das Design offen mit Ingenieuren von Uber und Walmart entwickelt, um deren planetengroße Tabellen zu unterstützen. Der offene RFC dokumentiert das Speicherlayout, den Abfragepfad und das Konsistenzmodell.

    > Das Design ist festgelegt und wird heute in Lakegres ausgeliefert; die Hudi-Implementierung wird upstream eingebracht und XTable befindet sich im Release-Candidate-Test vor OSS-Releases, die andere Engines integrieren können.

    Mit zwei Links inline, https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...

Mehr von diesem Tag

2026-11-18