NEEDLE: бенчмарк, который ваша поисковая система не сможет запомнить

Needle: The benchmark your search engine can't memorize

Статические бенчмарки легко обмануть: модели запоминают ответы или вытаскивают их из HuggingFace прямо во время теста. Keenable представляет NEEDLE — живой бенчмарк для агентного веб-поиска, который ежедневно обновляется и охватывает новости, финансы, науку, редкие запросы и юридические документы. Результаты показывают, что движки с собственным индексом значительно лучше справляются с редкими запросами, а традиционные поисковики, оптимизированные под людей, не подходят для агентов.