Infino baut seinen Suchindex auf S3 – und macht die Zahl der Roundtrips zur knappsten Ressource
What changes when your search index lives on S3?
Infino legt seinen Volltext- und Vektorindex direkt in S3, GCS und Azure Blob Storage ab. Weil dort jeder Random Read ein HTTP-GET mit zweistelliger Millisekunden-Latenz und Kosten pro Request ist, optimiert das Team nicht auf CPU oder Bytes, sondern auf möglichst wenige Roundtrips: Jede Indexeinheit ist eine einzige Parquet-Datei, ein Manifest enthält Footer und Index-Header vorab, und ein Term-Index verrät, welche Dateien einen Suchbegriff überhaupt enthalten. Bei einem Test sank eine Single-Term-Count-Abfrage über 141 Dateien auf null geöffnete Dateien.
Die knappste Ressource sind nicht die CPU und nicht die Bytes, sondern die Zahl der Roundtrips, die man zum Object Store macht.