AI меняет рекомендации почти каждый день: 84% ответов на те же вопросы оказались другими

We asked AI the same 210 buying questions 2 days in a row,84% of answers changed

Supercite задал 210 вопросов о покупках четырём AI-движкам два дня подряд и сравнил ответы. 84% ответов назвали другой набор брендов, 27% брендов исчезли на второй день, а совпали только 42% цитируемых страниц. Лидеры категорий удерживают 73% позиций, небольшие бренды — лишь 51%. Вывод: один запрос к ChatGPT или Gemini ничего не доказывает, важна доля упоминаний на множестве страниц.

Ничего с CRM за ночь не изменилось. Изменились страницы, которые движок успел прочитать.
  1. ryanisnan

    Не думаю, что это по своей сути удивительно.

    Если посмотреть на вопросы, которые они задавали, они довольно общие. По моему опыту, часть ценности LLM заключается в их случайности, но нужно понимать это как характерное достоинство этих инструментов и соответствующим образом адаптироваться.

    Задавать вопросы с узкими рамками, чёткими ограничениями и конкретными результатами, по моему мнению, всегда даёт лучшие результаты.

  2. mentalgear

    Люди думают, что «ИИ» обладает всеми фактами для принятия объективных решений, но, похоже, всё сводится к (опять SEO?) тому, какие страницы его поисковая система вернула в тот день.

    > Если вы не лидер, это та часть, которая имеет значение. Ваша видимость зависит от того, какие страницы движок прочитает в тот день. Способ сделать это стабильным — присутствовать на большем количестве таких страниц.

    В конечном счёте нужен настоящий граф знаний фактов, независимый от упоминаний.

  3. hnlmorg

    Вы всего лишь доказываете, что в любой конкретной области найдётся десяток зрелых решений.

    Один продукт от другого отличают ограничения, специфичные для проекта, в который вы это интегрируете. И ничего из этого не определено в ваших промптах. Так что вы фактически просто просите LLM бросить кости и выбрать что-то случайным образом, а потом удивляетесь, что каждый раз получаете другой ответ.

    Редактирование: их выводы в конце статьи упускают самый важный момент. Они говорят о том, чтобы спрашивать несколько раз в течение нескольких дней, но это просто повторение цикла «мусор на входе — мусор на выходе» без устранения корневой причины проблемы: неправильного определения требований.

    И если у вас нет никаких требований, кроме «что-нибудь подешевле» (например), то какая разница, какой ответ вы получите, когда любой результат одинаково приемлем для вашего случая.

  4. seabre

    Если вывод LLM стохастичен, почему вы ожидаете, что он не изменится при вопросах, не имеющих устоявшихся ответов?

  5. luisfominaya

    В целом похоже, что у LLM есть фундаментальная проблема с шумом в их выводах, из-за которой случайность (какие данные они извлекают и как агрегируют) оказывает непропорционально большое влияние, когда у них спрашивают мнения/рекомендации/прогнозы.

Ещё за этот день

2026-11-18