当搜索索引搬上 S3，架构如何重塑？

What changes when your search index lives on S3?

在 Infino，我们构建检索引擎以应对 Agent 的大规模查询需求。传统搜索引擎如 Lucene 依赖本地磁盘，假设随机读取成本极低，但将索引迁移至 S3、GCS 或 Azure Blob Storage 后，每一次随机读取都意味着昂贵的网络往返。因此，我们的设计核心从优化 CPU 和字节转向极致减少网络请求。通过引入 Superfile 单文件架构、预缓存元数据的 Manifest 以及全局 Term Index，我们实现了按需读取和智能跳过。即使面对海量数据，查询也能精准定位，避免无效请求，让对象存储上的搜索既快又经济。