„Nicht raten“: Wie ein Satz die erfundenen Felder von 71 % auf 20 % senkte
Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%
Ein Benchmark auf earnanhonestdollar.com testet, ob KI-Extraktoren Felder erfinden, die auf einer Webseite fehlen. 16 Modelle und 3 Paid-APIs traten an. Ohne den Satz „Use null for any field whose value is not on the page. Do not guess.“ erfanden die Modelle 70,7 % der fehlenden Felder, mit ihm nur 20,2 %. Firecrawl schnitt mit 24 von 36 erfundenen Feldern schlechter ab als 13 der 16 Modelle. Ein billiger Checker (GPT-6 Luna) fing 38 von 49 erfundenen Werten und lehnte keinen korrekten ab.
Alle 16 Modelle erfanden mehr ohne den Satz: 405 von 573 fehlenden Feldern ohne ihn (70,7 %), 116 von 574 mit ihm (20,2 %).
- BatchJob
Das LLM wird einen statistischen Pfad wählen, um zu antworten, und sich unter keinen Umständen weigern, dies zu tun, außer dort, wo es so programmiert wurde.
Ihre Beispiele sind konstruiert und werden sich in nennenswerter Weise nicht bewahrheiten. Ungenauigkeiten sind normalerweise nicht einfach erfundene Behauptungen, sondern falsche Informationen, die auf statistischen Pfaden zu irreführenden Ergebnissen führen oder den aktuellen Kontext umgehen. LLMs verstehen das Wort „nicht“ nicht. LLMs verstehen die Bedeutung keiner Wörter.
Weder Sie, noch Aristoteles, noch Gott werden jemals ein LLM dazu bringen, durch Prompting die Wahrheit oder korrekte Ergebnisse zurückzugeben.
- l1ng0
Wir werden alle zu Tauben in einer Skinner-Box.
- datsci_est_2015
Cool, das wird in Harnesses eingebaut und dann wird es aufhören, effektiv zu sein, und wir gehen zur nächsten magischen Beschwörungsformel über.
- thallavajhula
Ich habe all das ausprobiert und nichts funktioniert wirklich. Ich habe nur eine Zeile in meiner CLAUDE.md-Datei, und die lautet: „Always ground your responses.“ Und das war's.
Claude hat sich nicht darum gekümmert. Als ich darauf hinwies, tat es ihm leid, und das war alles.
- literalAardvark
Ich habe „you're not trained on this data, return exclusively grounded results“ mit gutem Erfolg verwendet.