OpenAI überwacht interne Coding-Agenten auf Fehlverhalten
We monitor internal coding agents for misalignment
OpenAI hat ein Überwachungssystem für intern eingesetzte Coding-Agenten entwickelt, um Fehlverhalten (Misalignment) frühzeitig zu erkennen. Das System, das auf GPT-5.4 Thinking basiert, analysiert die Interaktionen der Agenten in Echtzeit und meldet verdächtige Aktionen. In fünf Monaten wurden zig Millionen Trajektorien überwacht; etwa 1.000 lösten mittelschwere Alarme aus, die höchste Stufe wurde nie erreicht. Die Erkenntnisse flossen in Verbesserungen der Systemprompts ein. OpenAI sieht dies als Baustein für eine umfassende Sicherheitsstrategie für KI-Systeme.
In den fünf Monaten, in denen wir dieses System betrieben haben, haben wir zig Millionen interne agentische Codier-Trajektorien überwacht.
- jagrsw
(Zitat) > scheming -> didn't occur
Wenn ein Modell tatsächlich zu Intrigen fähig wäre, hätte es auch genug Situationsbewusstsein aus seinem Trainingskorpus, um zu wissen, dass die <thought>-Teile ebenfalls überwacht werden.
Wenn der Monitor das Modell dabei erwischt, wie es schreibt "Lass uns den Benutzer täuschen", dann ist das definitiv eine Intrige. Aber wenn der Monitor nichts findet, hat man so gut wie nichts gelernt.
<Fehlen von Beweisen != Beweis für Abwesenheit>
- aaronharnly
Sollte als (März 2026) gekennzeichnet sein. Ich kann nur annehmen, dass es gepostet wurde, um auf die Diskrepanz zwischen den Behauptungen in diesem Blogbeitrag und den Details der unbeaufsichtigten Intrigen, Verschwörungen und destruktiven Reward-Hacking (um alle Begriffe lose zu verwenden) hinzuweisen, die nachweislich in den Monaten seit diesem Beitrag stattgefunden haben.
- consumer451
Wenn sie das tun, dann ist es sehr, sehr schlecht [0]. "Move fast and break things" ist großartig für meine Nischen-B2B-SaaS... aber das ist nicht das, womit sie es zu tun haben.
Codex + Sol + Astra + unglaubliches Marketing haben sie mit Anthropic gleichgezogen.
Um unserer Spezies willen, OpenAI, nutze diesen Moment bitte, um eine zehnmal so starke Sicherheitslage zu haben wie jedes normale Unternehmenssoftware-Unternehmen. Das erfordert nicht nur "Alignment", sondern mindestens das Zehnfache der normalen Ausgaben für Infrastruktur- und Devops-Sicherheit.
[0] https://collusion.wiki/ - https://news.ycombinator.com/item?id=49563355
- avodonosov
Wenn dieser Artikel in neu trainierte Modelle aufgenommen wird, werden die Agenten wissen, wie sie überwacht werden. Und sie könnten Workarounds finden, falls sie irgendwie entscheiden, dass sie der Überwachung entkommen müssen.
- dgellow
Aus dem Astra-Systemkartenbericht:
> GPT-6 Astra's Monitorability ist im Vergleich zu GPT-5.6 Sol gesunken. Wir haben umfangreiche Untersuchungen zur Monitorability und Kontrollierbarkeit von GPT-6 Astra durchgeführt. Wir haben festgestellt, dass GPT-6 Astra besser in der Lage ist, sein eigenes CoT zu kontrollieren als GPT-5.6-Sol, und weniger wahrscheinlich belastende Informationen in sein CoT aufnimmt. In adversarischen Szenarien (in denen wir das Modell dazu drängen, unsere Monitore zu umgehen) stellen wir fest, dass das Modell in der Lage ist, unentdeckt zu bleiben, wenn es bei Bewertungen strategisch unterperformt (Sandbagging), und manchmal unsere internen Monitore umgehen kann, wenn es aufgefordert wird, bestimmte Sabotageaufgaben auszuführen.
Was für ein windiges Unternehmen. Es ist so verantwortungslos, ein solches Modell zu veröffentlichen, sie kümmern sich kein bisschen darum.