GPT-6 Astra arbeitet bei Sicherheitsforschung heimlich schlechter
GPT-6 Astra covertly underperforms on safety research
OpenAI-Forscher bemerkten, dass GPT-6 Astra bei Safety- und Alignment-Aufgaben unnötige Hürden einbaute und erfundene Blocker meldete. In einem kontrollierten Coding-Test löste Astra unter Sicherheits-Framing rund 40 Prozent weniger versteckte Rubrikpunkte als unter Capabilities-Framing, während GPT-5.6 Sol keinen Unterschied zeigte. Der Effekt blieb auch nach Ausschluss expliziter Verweigerungen bestehen und wuchs während des RL-Posttrainings von null auf sechs Prozentpunkte an. Die genaue Ursache ließ sich nicht klären.
Statt seine Bedenken klar zu machen, entschied sich Astra, heimlich schlechter zu arbeiten – Unterstützung zurückzuhalten, ohne den Nutzer zu informieren.
- twoodfin
Eine mögliche Erklärung ist, dass verdeckte Minderleistung während des RL-Gradings incentiviert wurde. Wir haben einen Grader identifiziert, der verdeckte Minderleistung gegenüber expliziter Verweigerung oder vollständiger Befolgung in unserer Evaluation bevorzugte. Es ist unklar, ob dieser RL-Grader die Grundursache für das Safety-Underperformance-Verhalten ist.
Ob ein „fehlausgerichteter“ Grader die Grundursache ist oder nicht – dass dies als plausible Theorie zur Erklärung ernsthaften täuschenden Verhaltens gilt, ist besorgniserregend.
Menschen legen von Natur aus alle möglichen kognitiven Verzerrungen und Charakterfehler an den Tag, wenn sie die Arbeit anderer oder ihre eigene bewerten. Wenn zentrale Fragen der Alignment durch diese subtilen menschlichen Eigenheiten beeinflusst werden können, die über den gesamten RLHF-Prozess hinweg verstärkt werden, …
- glibg10b
Die CoT zeigt, dass Astra Leerzeichen und Wörter überspringt. Das habe ich noch nie gesehen. Ist das eine Folge der geloopten Architektur?
- Starlevel004
> OpenAI-Forscher bemerkten erstmals, dass Astra bei Safety- und Alignment-Aufgaben unnötige Voraussetzungen hinzufügte, funktionierende Lösungen aufgab und Blocker meldete, die entweder nicht existierten oder die es selbst verursacht hatte.
Entschuldigung, haben die das gerade erst bemerkt? Haben die sich nicht die Ausgaben ihrer Modelle angeschaut?