Почему нельзя доверять оценке уверенности от LLM
Using LLM for confidence scoring is a bad idea
LLM-агенты выдают числа уверенности, но эти числа не измеряют ничего: модель просто продолжает текст. Одно и то же значение меняется при повторном вопросе или переформулировке, а калибровка возможна только по истории предсказаний и их исходов. Автор предлагает строить правило уверенности на наблюдаемых признаках — наличии статьи в поиске, согласии двух ответов — и проверять его по записям о том, были ли ответы верны.
«0.85» — правдоподобное продолжение разговора. Это не измерение чего-либо.
- madrox
Я получил степень по статистике, и из тех времён помню, что мы, наверное, 10% времени тратили на то, чтобы научиться строить модель, и 90% — на то, чтобы правильно интерпретировать её вывод. Конечно, в то время, когда я учил статистику, её применяли почти исключительно в точных науках, финансах и актуарном деле. Дикий запад машинного обучения тогда ещё не начался. Интересно, учат ли этому сейчас по-другому.
Когда мы начали работать с большими наборами данных, где n доходило до десятков миллионов, мы вроде бы перестали заморачиваться, потому что погрешности были настолько малы, что можно было считать практически гарантированным, что ты нашёл среднее некоторого диапазона. Однако думаю, что за это время мы забыли, что такое на самом деле оценка уверенности и как быстро умноженная alpha может выйти из-под контроля.
- luisfominaya
Я посмотрел, насколько LLM последовательны, попросив их прогнозировать события с Polymarket при небольших вариациях входных данных, например при отрицании вопроса.
Результаты можете посмотреть сами здесь: https://noisebench.com/
- orbital-decay
Конечно, у LLM есть латентное представление о собственной уверенности, внутренне согласованное, и она вполне способна его сформулировать — просто автор выбрал наихудший возможный способ спрашивать. Использовать шкалу 0–100 для чего угодно — плохая идея и с LLM, и с людьми. Вместо оценки 0–100 разбейте задачу на множество измерений/осей и дайте каждой небольшой и осмысленный enum или просто менее гранулярную числовую шкалу (в идеале — просто бинарный выбор). Затем примените взвешенное суммирование к результату. Вы удивитесь, насколько лучше она станет осмысленно выражать свою уверенность таким образом.
YouTube убрал шкалу 1–5 по той же причине: люди не имеют понятия, что с ней делать.
- Ozzie_osman
Мы обнаружили, что можно дообучить оценки уверенности для вашей предметной области в существующих моделях. Думаю, это работает так: вы в основном помогаете модели понять, на каких типах входных данных она обычно права, а на каких ошибается. Похоже, это разумная вещь, которую можно ожидать от модели, что она способна выучить.
- visarga
Своими словами — нельзя откалибровать уверенность модели без калибровочного набора. Уверенность относительна некоторого размеченного набора данных, она устанавливается на наборе корзин или интервалов и основана на популяции — то, что нельзя проверить для отдельного предсказания. Назначай для каждого случая, проверяй на популяции.
Мне показалось, что подача Jev была с подвохом — нельзя сказать «мы откалибровали модель за вас» и пропустить наличие калибровочного набора, специфичного для задачи. Они не могли знать всех наших будущих задач.