Un simple "no adivines" reduce los campos inventados por la IA del 71% al 20%
Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%
En una prueba con 16 modelos y APIs de extracción web, se midió si inventan datos ausentes. Con la instrucción "usa null si el valor no está en la página, no adivines", los campos inventados cayeron del 70,7% al 20,2%. Firecrawl inventó 24 de 36 campos, más que 13 de los 16 modelos con la instrucción. Un modelo barato como GPT-6 Luna detectó 38 de 49 valores falsos sin rechazar ninguno correcto por $0,0049.
Todos los 16 modelos inventaron más sin la frase: 405 de 573 campos ausentes sin ella (70,7%), 116 de 574 con ella (20,2%).
- BatchJob
El LLM tomará una ruta estadística para responder y no se negará a hacerlo bajo ninguna circunstancia, salvo cuando se lo haya programado para ello.
Tus ejemplos son artificiales y no se van a confirmar de ninguna manera significativa. Las imprecisiones normalmente no son simplemente afirmaciones inventadas, sino información falsa basada en rutas estadísticas hacia resultados engañosos o que eluden el contexto actual. Los LLM no entienden la palabra "no". Los LLM no entienden el significado de ninguna palabra.
Ni tú, ni Aristóteles ni Dios lograrán jamás que un LLM devuelva la verdad o resultados correctos mediante prompting.
- l1ng0
Todos nos estamos convirtiendo en palomas en una caja de Skinner.
- datsci_est_2015
Genial, esto se añadirá a los harnesses y entonces dejará de ser efectivo y pasaremos al siguiente conjuro mágico.
- thallavajhula
He probado todo esto y nada funciona realmente. Solo tengo 1 línea en mi archivo CLAUDE.md y es "Always ground your responses." y ya está.
A Claude no le importó. Cuando se lo señalé, se disculpó y ya está.
- literalAardvark
He usado "no estás entrenado con estos datos, devuelve exclusivamente resultados fundamentados" con buenos resultados.