Kapa построила бенчмарк для поиска по корпоративным знаниям: агент с grep обходит RAG
Benchmarking retrieval for agents on messy real-world company knowledge
Kapa.ai представила Company Knowledge Bench — 1000 реальных запросов из продакшена для оценки поиска по внутренней документации, тикетам, чатам и коду. Семь ретриверов сравнили по качеству, скорости и точности. Агент с grep на большой модели набирает 0.61, как настроенный RAG, но в пять раз медленнее. Оптимизированный агентный поиск Kapa Deep даёт 0.65 за пять секунд. Авторы объясняют, почему публичные бенчмарки не подходят для корпоративных знаний.
Агентный поиск с grep на большой модели набирает 0.61, как настроенный современный RAG-конвейер, но работает в пять раз дольше.