Manticore Search теперь сам разбивает документы на чанки для векторного поиска

Better Vector Search for Long Documents: Chunking Inside Manticore Search

Manticore Search добавил автоматическое разбиение длинных документов на чанки прямо в определении таблицы. Достаточно указать chunk_strategy в векторной колонке — и поисковик сам разобьёт текст, создаст эмбеддинги для каждого фрагмента и найдёт нужное. На тесте с документацией Manticore (189 страниц) recall@5 вырос с 55,1% до 83,3%, MRR — с 0,44 до 0,70, но потребление RAM увеличилось примерно в 2,5 раза, а время индексации — в 4 раза. Запросы при этом не разбиваются.