Un modelo con solo grep iguala al RAG moderno, pero tarda cinco veces más
Benchmarking retrieval for agents on messy real-world company knowledge
Kapa presenta el Company Knowledge Bench, 1.000 casos de evaluación anotados a partir de datos reales de producción, para medir qué recuperación funciona mejor sobre documentación, tickets, chats, wikis y código. Comparan siete recuperadores: el pipeline híbrido clásico puntúa 0.41; añadir un reranker lo sube a 0.50; un agente con grep y un modelo frontera alcanza 0.61 pero tarda cinco veces más; su recuperador optimizado logra 0.65 en unos cinco segundos.
Un modelo frontera sin nada más que grep iguala a un pipeline de recuperación moderno y ajustado con 0.61, pero tarda cinco veces más.