Фраза «Do not guess» сократила долю выдуманных полей с 71% до 20%
Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%
Сервис Earn an Honest Dollar протестировал 16 моделей и 3 платных API на извлечение данных из веб-страниц. Каждому давали инструкцию «Use null for any field whose value is not on the page. Do not guess». Без неё модели выдумывали 70,7% отсутствующих полей, с ней — 20,2%. Дешёвый чекер GPT-6 Luna поймал 38 из 49 выдумок и не отклонил ни одного верного значения.
Все 16 моделей выдумали больше полей без этой фразы: 405 из 573 отсутствующих полей без неё (70,7%) и 116 из 574 с ней (20,2%).
- BatchJob
LLM выберет статистический путь для ответа и не откажется от этого ни при каких обстоятельствах, кроме случаев, когда это заложено в его код.
Ваши примеры надуманны и не подтвердятся сколько-нибудь значимым образом. Неточности обычно не являются просто выдуманными утверждениями — это ложная информация, основанная на статистических путях, ведущих к вводящим в заблуждение результатам или ускользающая от текущего контекста. LLM не понимают слово «не». LLM не понимают значения ни одного слова.
Ни вы, ни Аристотель, ни Бог никогда не заставите LLM выдавать правду или правильные результаты с помощью промптов.
- l1ng0
Мы все превращаемся в голубей в ящике Скиннера.
- datsci_est_2015
Круто, это добавят в харнессы, а потом это перестанет работать, и мы перейдём к следующему магическому заклинанию.
- thallavajhula
Я перепробовал всё это, и ничего реально не работает. У меня в файле CLAUDE.md всего одна строка: «Всегда основывай свои ответы на фактах», и всё.
Claude не обратил на это внимания. Когда я указал на это, он извинился, и на этом всё.
- literalAardvark
Я использовал «ты не обучен на этих данных, возвращай исключительно обоснованные результаты» с хорошим эффектом.