Lakegres запускает векторный поиск прямо в таблицах Hudi и Iceberg — без отдельной векторной БД

Lakegres: Vector search on existing Open/Hudi/Iceberg tables

Onehouse добавила в Lakegres векторный поиск через индекс, который хранится внутри существующих и новых таблиц Hudi и Iceberg. Индекс — это производные метаданные: его можно построить или удалить без перезаписи файлов данных, он группирует векторы в кластеры и хранит компактные квантованные коды, а обновляется теми же коммитами, что и сама таблица. На 247 млн векторов медианный тёплый запрос занимает 63,5 мс, что примерно в 10 раз быстрее Databricks AI Search.

Векторный поиск — стандартная функция прикладных баз данных. Данные из lake и хранилищ всё ещё приходится копировать в отдельную поисковую систему, прежде чем агент сможет их искать.
  1. sherlockbeard

    Есть ли какое-то измеримое дополнительное время задержки коммита из-за векторного индекса в потоковой задаче, после того как он построен? В бенчмарках показывают время построения и задержку запросов, но не то, что связано с путём записи.

  2. rjshmhndr

    Векторный поиск с задержкой менее 100 мс на озере данных — это неслыханно, весьма впечатляет.

  3. jauntywundrkind

    Довольно хорошая статья: говорит о проблеме, обозревает, что и как делают другие игроки?

    Пошёл посмотреть, будет ли там что-то открытое (в основном это реклама продукта), нашёл:

    > Поддержка Iceberg строится на работе по индексированию на основе Hudi в Apache XTable (Incubating). Мы разработали дизайн открыто с инженерами из Uber и Walmart, чтобы поддержать их таблицы планетарного масштаба. Открытый RFC документирует схему хранения, путь запросов и модель согласованности.

    > Дизайн утверждён и уже поставляется в Lakegres сегодня; реализация Hudi передаётся в upstream, а XTable проходит тестирование релиз-кандидата перед выпусками OSS, которые смогут интегрировать другие движки.

    С двумя ссылками по тексту: https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...

Ещё за этот день

2026-11-18