Kapa veröffentlicht Company Knowledge Bench: 1.000 echte Firmenabfragen für Retrieval
Benchmarking retrieval for agents on messy real-world company knowledge
Kapa hat mit der Company Knowledge Bench einen eigenen Benchmark veröffentlicht, der Retrieval für Unternehmenswissen wie Dokumentationen, Tickets und Slack-Nachrichten messbar macht. Auf 1.000 annotierten Produktionsabfragen erreicht ein agentischer Retriever mit grep 0,61, braucht aber fünfmal so lange wie eine optimierte Pipeline. Kapa Deep erzielt 0,65 in rund fünf Sekunden. Der Benchmark bewertet Vollständigkeit, Minimalität und Quellenpräferenz und wurde mithilfe agentischer Labelerstellung aufgebaut.
Ein Frontier-Modell mit nichts als grep erreicht eine abgestimmte moderne Retrieval-Pipeline bei 0,61, braucht dafür aber fünfmal so lange.