「推測するな」と一言添えるだけでAIの捏造フィールドが71%から20%に激減
Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%
Web抽出サービスがページに存在しない項目をどれだけ捏造するかを測るベンチマーク。7種類のページに42組の罠を仕掛け、16モデルと有料APIを比較した。モデルに「値がなければnullを返し、推測するな」と指示すると、捏造率は70.7%から20.2%へ低下。さらに安価なチェッカーで各回答を検証できることも示した。
「値がページにない項目にはnullを使い、推測するな」という一文を加えるだけで、16モデルすべてで捏造が減り、欠落フィールドの捏造率は70.7%から20.2%になった。
HNでの議論
33- BatchJob
LLMは統計的な経路をたどって返答するので、そうするようにコーディングされていない限り、いかなる状況でも拒否することはない。
君の例は作為的で、重要な形で裏付けられることはないだろう。不正確さは通常、単にでっち上げられた主張ではなく、誤解を招く結果への統計的な経路に基づく、あるいは現在のコンテキストから逃れる虚偽の情報だ。LLMは「するな」という言葉を理解しない。LLMはどんな言葉の意味も理解しない。
君も、アリストテレスも、神も、プロンプティングでLLMに真実や正しい結果を返させることは永遠にできない。
- l1ng0
我々は皆、スキナー箱の中の鳩になりつつある。
- datsci_est_2015
いいね、これはハーネスに組み込まれて、そうしたら効果がなくなり、次の魔法の呪文に移るんだろうな。
- thallavajhula
これらは全部試したけど、本当に何も効かない。私のCLAUDE.mdファイルには1行しかなくて、それは「常に回答を根拠づけよ」だけだ。
Claudeはそれを気にしなかった。指摘したら、申し訳なさそうにしただけで終わりだった。
- literalAardvark
「あなたはこのデータで訓練されていない、根拠のある結果だけを返せ」を使って、良い効果を得た。