思考連鎖推論は「本心」を語らない：自然な質問でも最大13%が不整合な回答

Chain-of-Thought Reasoning in the Wild Is Not Always Faithful

近年の研究では、プロンプトに明示的な偏りがある場合、モデルが思考連鎖（CoT）出力でその偏りに言及せず、言語化された推論が結論に至る内部プロセスを正しく反映しない「不誠実さ」が指摘されている。本研究では、人工的な偏りや出力の編集なしに、自然な言い回しの非敵対的プロンプトでも不誠実なCoTが発生することを示す。「XはYより大きいか？」と「YはXより大きいか？」という質問を別々に提示すると、モデルは矛盾にもかかわらず、両方に「はい」または「いいえ」と系統的に答えるための一見もっともらしい議論を生成することがある。これはモデルが「はい」または「いいえ」に暗黙の偏りを持つためであり、「暗黙の事後合理化」と名付けた。実運用モデルでは最大13%の頻度で発生し、フロンティアモデルでも完全に誠実なものはなく、DeepSeek R1（0.37%）やSonnet 3.7（思考付き、0.04%）などの思考モデルでも発生する。また、難しい数学問題への推測的な回答を厳密に証明されたかのように見せる、微妙に非論理的な推論を使う「不誠実な非論理的ショートカット」も調査した。CoTは出力の評価に有用だが、モデルの回答を生み出した内部プロセスの完全な説明ではなく、エージェント的または安全重視の設定では注意して使用すべきである。