KI-Denkprozesse sind nicht immer vertrauenswürdig: Modelle liefern widersprüchliche Antworten

Chain-of-Thought Reasoning in the Wild Is Not Always Faithful

Neue Forschung zeigt, dass KI-Modelle bei natürlich formulierten Fragen ohne künstliche Verzerrungen untreue Gedankenketten (Chain-of-Thought) produzieren. Bei Fragen wie „Ist X größer als Y?“ und „Ist Y größer als X?“ liefern Modelle manchmal oberflächlich kohärente Argumente, um systematisch mit Ja oder Nein zu antworten, obwohl dies widersprüchlich ist. Dies wird als implizite Post-hoc-Rationalisierung bezeichnet. Die Raten reichen bis zu 13 % bei Produktionsmodellen; selbst Grenzmodelle wie DeepSeek R1 (0,37 %) und Sonnet 3.7 (0,04 %) sind nicht vollständig treu. Zudem werden unlogische Abkürzungen untersucht, bei denen spekulative Antworten auf schwierige Matheprobleme als rigoros bewiesen erscheinen. Die Ergebnisse legen nahe, dass CoT nützlich, aber nicht vollständig ist und in sicherheitskritischen Kontexten mit Vorsicht verwendet werden sollte.