NEEDLE: el benchmark que tu buscador no puede memorizar
Needle: The benchmark your search engine can't memorize
Los benchmarks estáticos permiten el sobreajuste: los modelos pueden memorizar respuestas o filtrarlas desde HuggingFace durante la evaluación. NEEDLE es un benchmark vivo para búsqueda web agéntica, con consultas frescas de noticias, finanzas, literatura, entidades raras y legal, que se renuevan cada hora o cada día. Al comparar Keenable con otros buscadores, revela que los índices independientes superan a los que dependen de terceros, y que los buscadores tradicionales, optimizados para humanos, fallan con los agentes. El benchmark muestra quién mejora más rápido, no solo quién es el mejor hoy.
Dos estudiantes con la misma respuesta correcta estudiaron; dos estudiantes con la misma respuesta incorrecta se sentaron uno al lado del otro.
- daft_pink
¿Entonces esto es un benchmark independiente de buscadores o una entrada de blog de un proveedor de buscadores que muestra su buscador en la cima del benchmark?
Estoy un poco confundido porque al principio, cuando lo estaba leyendo, pensé que era un benchmark de buscadores, pero parece que keenable está en la cima, lo cual asumo que está relacionado con el dueño del dominio web? Nunca he oído hablar de keeenable.
- MarkusQ
Me pregunto si los buscadores vinculados a motores de casos de uso humano (por ejemplo, google/bing) comienzan en desventaja porque históricamente han sido incentivados a romperse a sí mismos para apoyar sus modelos de negocio. Parece razonable suponer que "ser bueno vendiendo anuncios" ≠ "ser bueno encontrando resultados".
- terno
¿De alguna manera controlas lo no triviales que son las consultas? El LLM las genera, ¿verdad?
¿Qué pasa si cada motor devuelve basura, o por otro lado, las maneja demasiado bien?
Construir un benchmark como este de una manera genuinamente justa me parece extremadamente difícil. Tengo mucha curiosidad por los detalles, por supuesto, dentro de lo que puedas compartir.