Manticore Search, 긴 문서 벡터 검색 문제를 청킹으로 해결하다

Better Vector Search for Long Documents: Chunking Inside Manticore Search

Manticore Search가 테이블 정의에 chunk_strategy 옵션을 추가해 긴 문서를 자동으로 분할하고 임베딩하는 기능을 도입했다. truncate, mean, fixed, recursive, sentence 등 다섯 가지 전략을 지원하며, 문서는 여전히 하나의 검색 결과로 반환된다. Manticore 매뉴얼(189페이지, 약 29만 8천 단어)로 측정한 결과, 모델 윈도우를 벗어난 콘텐츠에 대해 recall@5가 55.1%에서 83.3%로, MRR이 0.44에서 0.70으로 향상됐다. 대신 RAM 사용량은 약 2.5배, 수집 시간은 약 4배 증가한다.