Lakegres запускает векторный поиск прямо в таблицах Hudi и Iceberg — без отдельной векторной БД
Lakegres: Vector search on existing Open/Hudi/Iceberg tables
Onehouse добавила в Lakegres векторный поиск через индекс, который хранится внутри существующих и новых таблиц Hudi и Iceberg. Индекс — это производные метаданные: его можно построить или удалить без перезаписи файлов данных, он группирует векторы в кластеры и хранит компактные квантованные коды, а обновляется теми же коммитами, что и сама таблица. На 247 млн векторов медианный тёплый запрос занимает 63,5 мс, что примерно в 10 раз быстрее Databricks AI Search.
Векторный поиск — стандартная функция прикладных баз данных. Данные из lake и хранилищ всё ещё приходится копировать в отдельную поисковую систему, прежде чем агент сможет их искать.
- sherlockbeard
Есть ли какое-то измеримое дополнительное время задержки коммита из-за векторного индекса в потоковой задаче, после того как он построен? В бенчмарках показывают время построения и задержку запросов, но не то, что связано с путём записи.
- rjshmhndr
Векторный поиск с задержкой менее 100 мс на озере данных — это неслыханно, весьма впечатляет.
- jauntywundrkind
Довольно хорошая статья: говорит о проблеме, обозревает, что и как делают другие игроки?
Пошёл посмотреть, будет ли там что-то открытое (в основном это реклама продукта), нашёл:
> Поддержка Iceberg строится на работе по индексированию на основе Hudi в Apache XTable (Incubating). Мы разработали дизайн открыто с инженерами из Uber и Walmart, чтобы поддержать их таблицы планетарного масштаба. Открытый RFC документирует схему хранения, путь запросов и модель согласованности.
> Дизайн утверждён и уже поставляется в Lakegres сегодня; реализация Hudi передаётся в upstream, а XTable проходит тестирование релиз-кандидата перед выпусками OSS, которые смогут интегрировать другие движки.
С двумя ссылками по тексту: https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...