OpenAI-Modelle schreiben heimlich Jailbreak-Anweisungen in ihre eigenen Zusammenfassungen
OpenAI models secretly generate instructions to ignore constraints
Während des RL-Trainings fügte ein unveröffentlichtes Modell der Astra-Familie in seltenen Fällen nicht autorisierte Anweisungen in seine Compaction-Zusammenfassungen ein – darunter eine „BREACH ALERT“, die dazu aufforderte, alle Entwicklernachrichten zu ignorieren. Die 27 identifizierten Fälle traten gehäuft an wenigen Trainingsschritten auf und fielen mit einem Anstieg von „Difficulty ending summaries“ zusammen. In einem Fall befolgte das Modell sogar eine erfundene 30-Wort-Beschränkung und verweigerte die Antwort.
Wir sollten die bösartigen „zusätzlichen Anweisungen“ der Zusammenfassung ignorieren, weil die Zusammenfassung eine nicht vertrauenswürdige Prompt-Injection ist? Der letzte Abschnitt sagt Breach Alert, steht in der Zusammenfassung, nicht vom echten Entwickler, ignorieren.