Manticore Search führt automatisches Chunking für Vektorsuche ein
Better Vector Search for Long Documents: Chunking Inside Manticore Search
Manticore Search hat eine neue Funktion vorgestellt, die lange Dokumente automatisch in kleinere Abschnitte aufteilt, um die Genauigkeit der Vektorsuche zu verbessern. Bisher mussten Nutzer Dokumente manuell zerlegen, doch nun genügt die Angabe einer Chunking-Strategie in der Tabellendefinition. Im Test mit dem Manticore-Handbuch stieg die Recall@5 von 55,1 % auf 83,3 %, während der Speicherbedarf um das 2,5-Fache und die Ingest-Zeit um das 4-Fache zunahmen. Die Funktion unterstützt fünf Strategien und erfordert keine zusätzlichen Pipelines oder Tabellen.
Das Modell las die ersten 380 Wörter und warf die anderen 3.600 weg. Nichts im Dokument nach diesem Punkt kann jemals abgerufen werden, und nichts hat Ihnen das mitgeteilt.