Un simple "no adivines" reduce los campos inventados por la IA del 71% al 20%
Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%
En una prueba con 16 modelos y APIs de extracción web, se midió si inventan datos ausentes. Con la instrucción "usa null si el valor no está en la página, no adivines", los campos inventados cayeron del 70,7% al 20,2%. Firecrawl inventó 24 de 36 campos, más que 13 de los 16 modelos con la instrucción. Un modelo barato como GPT-6 Luna detectó 38 de 49 valores falsos sin rechazar ninguno correcto por $0,0049.
Todos los 16 modelos inventaron más sin la frase: 405 de 573 campos ausentes sin ella (70,7%), 116 de 574 con ella (20,2%).
- BatchJob
El LLM tomará una ruta estadística para responder y no se negará a hacerlo bajo ninguna circunstancia, excepto cuando se haya programado para hacerlo.
Tus ejemplos son artificiales y no se confirmarán de manera significativa. Las imprecisiones por lo general no son simplemente afirmaciones inventadas, sino información falsa basada en rutas estadísticas hacia resultados engañosos o que eluden el contexto actual. Los LLM no entienden la palabra "no". Los LLM no entienden el significado de ninguna palabra.
Ni tú, ni Aristóteles ni Dios lograrán jamás que un LLM devuelva la verdad o resultados correctos mediante prompting.
- l1ng0
Todos nos estamos convirtiendo en palomas en una caja de Skinner.
- datsci_est_2015
Genial, esto se añadirá a los harnesses y luego dejará de ser efectivo y pasaremos al siguiente conjuro mágico.