无需向量数据库:Lakegres 实现湖仓级搜索
Lakegres: Vector search on existing Open/Hudi/Iceberg tables
向量搜索曾是应用数据库的专属功能,企业数据湖中的海量数据必须先复制到独立系统才能被 AI 代理检索。Lakegres 打破了这一瓶颈,它直接在现有的 Hudi 和 Iceberg 开放表格式中构建原生索引,无需重写数据文件。该索引利用元数据分组和量化编码技术,由写入表的同一提交过程自动维护。在 2.47 亿个向量的测试中,Lakegres 的暖查询中位延迟仅为 63.5 毫秒,速度约为 Databricks AI Search 的 10 倍。这意味着你可以在自己的数据桶中,通过 Postgres 端点直接搜索嵌入向量,彻底消除了数据搬运的繁琐与延迟。
Lakegres 现在通过存储在现有和新 Hudi 及 Iceberg 表内部的索引,提供向量搜索功能。