NEEDLE: бенчмарк, который ваша поисковая система не сможет запомнить
Needle: The benchmark your search engine can't memorize
Статические бенчмарки легко обмануть: модели запоминают ответы или вытаскивают их из HuggingFace прямо во время теста. Keenable представляет NEEDLE — живой бенчмарк для агентного веб-поиска, который ежедневно обновляется и охватывает новости, финансы, науку, редкие запросы и юридические документы. Результаты показывают, что движки с собственным индексом значительно лучше справляются с редкими запросами, а традиционные поисковики, оптимизированные под людей, не подходят для агентов.
Два студента с одинаковым правильным ответом — учились вместе. Два студента с одинаковым неправильным ответом — сидели рядом.
- daft_pink
так это независимый бенчмарк поисковых систем или пост в блоге от провайдера поисковой системы, показывающий свою поисковую систему на вершине бенчмарка?
я немного запутался, потому что сначала, когда я читал это, я думал, что это бенчмарк поисковых систем, но похоже, что keenable находится наверху, что, как я предполагаю, связано с владельцем домена? я никогда не слышал о keeenable
- MarkusQ
Интересно, начинают ли поисковые системы, связанные с движками для человеческих сценариев использования (например, google/bing), с недостатком, потому что их исторически стимулировали ломать себя в поддержку своих бизнес-моделей? Кажется разумным предположить, что «умение продавать рекламу» ≠ «умение находить результаты».
- terno
Вы как-то контролируете, насколько нетривиальны запросы? Их генерирует LLM, верно?
что если каждая система возвращает мусор или, наоборот, слишком хорошо справляется?
построить такой бенчмарк по-настоящему честным способом кажется мне чрезвычайно сложным. Мне очень интересны детали, конечно, в рамках того, чем вы можете поделиться.