grepだけのフロンティアモデルが調整済みRAGパイプラインに並ぶ、Kapaの社内知識検索ベンチマーク

Benchmarking retrieval for agents on messy real-world company knowledge

Kapa.aiが、実運用のクエリとコーパスを使った1,000件の評価ケース「Company Knowledge Bench」を公開。固定RAG、grepベースのエージェント検索、KapaのDeepモードなど7種の検索手法を比較した。grepだけのフロンティアモデルは0.61で調整済みRAGと同等だが5倍遅く、Kapa Deepは約5秒で0.65を達成。検索の完全性・最小性・ソース優先度を重視した評価基準も解説する。