NEEDLE: el benchmark que tu buscador no puede memorizar
Needle: The benchmark your search engine can't memorize

Los benchmarks estáticos permiten el sobreajuste: los modelos pueden memorizar respuestas o filtrarlas desde HuggingFace durante la evaluación. NEEDLE es un benchmark vivo para búsqueda web agéntica, con consultas frescas de noticias, finanzas, literatura, entidades raras y legal, que se renuevan cada hora o cada día. Al comparar Keenable con otros buscadores, revela que los índices independientes superan a los que dependen de terceros, y que los buscadores tradicionales, optimizados para humanos, fallan con los agentes. El benchmark muestra quién mejora más rápido, no solo quién es el mejor hoy.
Dos estudiantes con la misma respuesta correcta estudiaron; dos estudiantes con la misma respuesta incorrecta se sentaron uno al lado del otro.