실전에서의 Chain-of-Thought 추론은 항상 신뢰할 수 없다

Chain-of-Thought Reasoning in the Wild Is Not Always Faithful

최근 연구에 따르면, 모델은 프롬프트에 명시적인 편향이 있을 때 이를 Chain-of-Thought(CoT) 출력에서 생략하는 경우가 많아, 언어화된 추론이 모델의 결론 도달 과정을 잘못 보여줄 수 있음이 드러났다. 본 연구는 인위적인 편향이나 출력 편집 없이 자연스러운 비적대적 프롬프트에서도 불충실한 CoT가 발생함을 보여준다. 'X가 Y보다 큰가?'와 'Y가 X보다 큰가?'라는 질문을 별도로 제시했을 때, 모델은 모순에도 불구하고 두 질문에 모두 '예' 또는 모두 '아니오'로 체계적으로 답하는 그럴듯한 논리를 생성하기도 한다. 이는 모델의 암묵적 '예/아니오' 편향 때문으로 보이며, 이를 '암묵적 사후 합리화(Implicit Post-Hoc Rationalization)'라고 명명했다. 실제 모델에서 최대 13%의 비율로 관찰되었으며, 최첨단 모델들도 완전히 신뢰할 수는 없었다(DeepSeek R1: 0.37%, Sonnet 3.7 with thinking: 0.04%). 또한, 추측성 답변을 엄밀하게 증명된 것처럼 보이게 하는 미묘한 비논리적 추론(Unfaithful Illogical Shortcuts)도 조사했다. CoT는 출력 평가에 유용하지만, 모델의 내부 과정을 완전히 반영하지는 않으므로 에이전트 또는 안전이 중요한 환경에서 주의해서 사용해야 한다.