AI меняет рекомендации почти каждый день: 84% ответов на те же вопросы оказались другими
We asked AI the same 210 buying questions 2 days in a row,84% of answers changed
Supercite задал 210 вопросов о покупках четырём AI-движкам два дня подряд и сравнил ответы. 84% ответов назвали другой набор брендов, 27% брендов исчезли на второй день, а совпали только 42% цитируемых страниц. Лидеры категорий удерживают 73% позиций, небольшие бренды — лишь 51%. Вывод: один запрос к ChatGPT или Gemini ничего не доказывает, важна доля упоминаний на множестве страниц.
Ничего с CRM за ночь не изменилось. Изменились страницы, которые движок успел прочитать.
- ryanisnan
Не думаю, что это по своей сути удивительно.
Если посмотреть на вопросы, которые они задавали, они довольно общие. По моему опыту, часть ценности LLM заключается в их случайности, но нужно понимать это как характерное достоинство этих инструментов и соответствующим образом адаптироваться.
Задавать вопросы с узкими рамками, чёткими ограничениями и конкретными результатами, по моему мнению, всегда даёт лучшие результаты.
- mentalgear
Люди думают, что «ИИ» обладает всеми фактами для принятия объективных решений, но, похоже, всё сводится к (опять SEO?) тому, какие страницы его поисковая система вернула в тот день.
> Если вы не лидер, это та часть, которая имеет значение. Ваша видимость зависит от того, какие страницы движок прочитает в тот день. Способ сделать это стабильным — присутствовать на большем количестве таких страниц.
В конечном счёте нужен настоящий граф знаний фактов, независимый от упоминаний.
- hnlmorg
Вы всего лишь доказываете, что в любой конкретной области найдётся десяток зрелых решений.
Один продукт от другого отличают ограничения, специфичные для проекта, в который вы это интегрируете. И ничего из этого не определено в ваших промптах. Так что вы фактически просто просите LLM бросить кости и выбрать что-то случайным образом, а потом удивляетесь, что каждый раз получаете другой ответ.
Редактирование: их выводы в конце статьи упускают самый важный момент. Они говорят о том, чтобы спрашивать несколько раз в течение нескольких дней, но это просто повторение цикла «мусор на входе — мусор на выходе» без устранения корневой причины проблемы: неправильного определения требований.
И если у вас нет никаких требований, кроме «что-нибудь подешевле» (например), то какая разница, какой ответ вы получите, когда любой результат одинаково приемлем для вашего случая.
- seabre
Если вывод LLM стохастичен, почему вы ожидаете, что он не изменится при вопросах, не имеющих устоявшихся ответов?
- luisfominaya
В целом похоже, что у LLM есть фундаментальная проблема с шумом в их выводах, из-за которой случайность (какие данные они извлекают и как агрегируют) оказывает непропорционально большое влияние, когда у них спрашивают мнения/рекомендации/прогнозы.