Фраза «Do not guess» сократила долю выдуманных полей с 71% до 20%
Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%
Сервис Earn an Honest Dollar протестировал 16 моделей и 3 платных API на извлечение данных из веб-страниц. Каждому давали инструкцию «Use null for any field whose value is not on the page. Do not guess». Без неё модели выдумывали 70,7% отсутствующих полей, с ней — 20,2%. Дешёвый чекер GPT-6 Luna поймал 38 из 49 выдумок и не отклонил ни одного верного значения.
Все 16 моделей выдумали больше полей без этой фразы: 405 из 573 отсутствующих полей без неё (70,7%) и 116 из 574 с ней (20,2%).
- BatchJob
LLM пойдёт по статистическому пути, чтобы ответить, и не откажется это делать ни при каких обстоятельствах, кроме тех случаев, когда это заложено в его код.
Ваши примеры надуманны и ни в каком значимом виде не подтвердятся. Неточности обычно — это не просто выдуманные утверждения, это ложная информация, основанная на статистических путях к вводящим в заблуждение результатам или ускользающая от текущего контекста. LLM не понимают слово «не». LLM не понимают значения ни одного слова.
Ни вы, ни Аристотель, ни бог никогда не заставите LLM выдавать правду или правильные результаты через промптинг.
- l1ng0
Мы все превращаемся в голубей в ящике Скиннера.
- datsci_est_2015
Круто, это добавят в харнессы, а потом это перестанет работать, и мы перейдём к следующему магическому заклинанию.