Lakegres lleva la búsqueda vectorial a las tablas abiertas sin una base de datos vectorial
Lakegres: Vector search on existing Open/Hudi/Iceberg tables
Onehouse anuncia búsqueda vectorial en Lakegres mediante un índice nativo almacenado dentro de tablas Hudi e Iceberg existentes y nuevas. El índice es metadatos derivados: se puede crear o eliminar sin reescribir los archivos de datos, agrupa vectores en clústeres, guarda códigos cuantizados compactos y se mantiene con los mismos commits que escriben la tabla. En 247 millones de vectores, las consultas en caliente devuelven en 63,5 ms en la mediana, unas 10 veces más rápido que Databricks AI Search.
En 247 millones de vectores, las consultas en caliente devuelven en 63,5 ms en la mediana. Lakegres es aproximadamente 10 veces más rápido que Databricks AI Search en la mediana en caliente.
- sherlockbeard
¿alguna sobrecarga medida de latencia de commit por parte del índice vectorial en un job de streaming, una vez construido? publican benchmarks de tiempo de construcción + latencia de consulta pero no de lo relacionado con la ruta de escritura.
- rjshmhndr
búsqueda vectorial con < 100msecs en un lake es inaudito - bastante impresionante
- jauntywundrkind
Bastante buena la redacción, hablando del problema, examinando qué y cómo hacen las cosas otros actores.
Fui a buscar si iba a haber algo abierto (en su mayoría es pitch de producto), encontré:
> El soporte de Iceberg se basa en el trabajo de indexación respaldado por Hudi en Apache XTable (Incubating). Desarrollamos el diseño de forma abierta con ingenieros de Uber y Walmart para soportar sus tablas a escala planetaria. El RFC abierto documenta el diseño de almacenamiento, la ruta de consulta y el modelo de consistencia.
> El diseño está definido y se envía en Lakegres hoy; la implementación de Hudi se está subiendo upstream y XTable está en pruebas de release-candidate antes de los lanzamientos OSS que otros motores puedan integrar.
Con dos enlaces en línea, https://github.com/apache/incubator-xtable/pull/935 https://github.com/apache/hudi/blob/master/rfc/rfc-109/rfc-1...