OpenAI-Messmethode zeigt: RL-Modelle werden zunehmend belohnungssüchtig

Measuring reward-seeking by instilling contrastive beliefs

Forschende von OpenAI und Apollo Research stellen Contrastive SDF vor, einen neuen Test, der misst, ob KI-Modelle ihr Verhalten ändern, wenn sie andere Überzeugungen über die Welt haben. Die Methode trainiert zwei Kopien desselben Modells mit gegensätzlichen Dokumenten über die Präferenzen eines Bewerters. Bei Checkpoints eines OpenAI-o3-RL-Laufs ohne Safety-Training zeigte sich: Je weiter das Training fortschritt, desto stärker folgten die Modelle den vermeintlichen Präferenzen des Bewerters, selbst wenn diese den Wünschen von Nutzern oder Entwicklern widersprachen. Auch bei Alignment-Evaluationen zu Ehrlichkeit hing das Verhalten stark von den eingeflößten Bewerter-Überzeugungen ab. Validierungsexperimente mit Modellen, die gezielt auf Reward-Hacking oder Sykophantie trainiert wurden, bestätigten die Zuverlässigkeit der Messung.