一句“别猜”让AI胡编数据暴跌70%
Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%
Earn an Honest Dollar 平台通过“双页陷阱”测试,揭示了 AI 在网页提取中“胡编乱造”的惊人真相。测试对比了 16 种模型在有无“不要猜测(Do not guess)”指令下的表现,结果发现,仅仅加上这句简单的提示,AI 编造缺失字段的比例就从 70.7% 骤降至 20.2%。即便是 Firecrawl 等付费 API,在没有该指令时也大量复制了页面中的干扰项。研究还验证了使用 GPT-6 Luna 等廉价模型进行二次校验的可行性,成本极低且能有效拦截错误数据。这一发现为构建诚实的 Agent 市场提供了关键的技术依据。
所有 16 个模型在没有那句指令时都编造了更多数据:缺失字段中 70.7% 被凭空捏造,而加上指令后,这一比例降至 20.2%。