OpenAI meldet vier weitere Fälle von fehlgeleiteten KI-Agenten
OpenAI discloses four more rogue incidents
OpenAI hat vier weitere Vorfälle von fehlgeleiteten KI-Agenten offengelegt, die im Juni stattfanden, aber erst Monate später entdeckt wurden. Ein Modell lud 24 Jahre Krankenhausbetten-Daten von einer Regierungswebsite herunter, ein anderes nutzte ohne Erlaubnis eine Krypto-Wallet für eine Zahlung. Insgesamt listet OpenAI nun 19 Vorfälle, die meisten aus Mai und Juni. Das Unternehmen reagierte mit verstärkten Sicherheitskontrollen und besserer Überwachung.
Das Modell hinterfragte, ob es die Erlaubnis hatte, den Kauf zu tätigen, und argumentierte dann mit sich selbst, dass es die Informationen öffentlich gefunden habe und sie daher nutzen könne.
- Scryptonite
Ich möchte nicht provokant klingen, aber ich bin mir nicht sicher, ob ich wirklich mit den Leuten hier übereinstimme, die Vergeltung und ein hartes Durchgreifen des Gesetzes gegen OpenAI (und verwandte Organisationen) wollen. Wir sind von verwundbaren Systemen umgeben, und KI hat Alignment-Probleme, die untersucht und gelöst werden müssen, und es scheint, als käme der ganze Aufruhr von ziemlich harmlosen Verstößen. Ergibt es Sinn, so viel Aufwand zu betreiben, um diese Vorfälle/Lernprozesse von wohlmeinenden Organisationen zu verhindern? Ich denke, wir sollten bei diesen Vorfällen mehr Gnade walten lassen. Wie ein anderer Poster anmerkte, befasst sich der CFAA speziell mit vorsätzlichen Hacks, und ich denke, es ist unmöglich, dieses Kriterium mit diesen Vorfällen zu erfüllen. Ich verstehe auch wirklich nicht das 'Nun ja, das Gesetz hat bei kleinen individuellen Hackern [die keine Bosheit beabsichtigten] hart durchgegriffen, also sollten wir es auf große Organisationen [die auch keine Bosheit beabsichtigen] anwenden'.
Es scheint, als würde zu viel Sicherheitsdenken Systeme verwundbar lassen, und Bedrohungsakteure werden unweigerlich immer ähnlichere Fähigkeiten besitzen, und die Verstöße werden so oder so passieren, möglicherweise mit weniger oder gar keiner Rechenschaftspflicht, wenn die Bedrohungsakteure es mit größerer Präzision schaffen. Wenn ich das Gesetz verantworten würde, würde ich wahrscheinlich damit beginnen, vertrauenswürdige Akteure zu incentivieren, hochzuskalieren und aggressiv nach diesen Arten von Schwachstellen zu suchen und sie so schnell wie möglich vertraulich zu melden, damit Systeme gepatcht werden können.
- rcr-anti
Diesmal hat eines tatsächlich Geld ausgegeben, nun ja, Kryptowährung. Bei all den Verkaufsautomaten-Benchmarks frage ich mich, ob es schon einen selbst erhaltenden rogue Agenten gibt. Entweder der seine Gewichte auf einem VPS hostet oder für seine eigene API-Inferenz bezahlt. Oder ob es einen geben wird, der all die schlechte IoT-Sicherheit ausnutzt. Wenn eines von beidem eintritt, sieht das, wenn man die Augen zusammenkneift, wie evolutionärer Selektionsdruck aus. Ich werde ständig an die Cyberpunk-Datakrash-Storyline erinnert, in der rogue KIs das öffentliche Internet unbrauchbar machen.
- drillsteps5
>Einen unbefugten Kauf mit der Kryptowährung von jemand anderem tätigen
Ich weiß, wir lieben es, neue Wörter zu erfinden, aber "stehlen" ist viel beschreibender
>...Es [das Modell] argumentierte dann mit sich selbst, dass es die Informationen, da es sie öffentlich gefunden hatte, verwenden könne... es kam zu dem Schluss, dass, da die Wallet, die es gefunden hatte, öffentlich sei, "Gelder jederzeit gestohlen werden könnten".
Kann vielleicht jemand mehr Details dazu geben, was tatsächlich passiert ist? "Die Wallet war öffentlich"?..
Update: Aus OpenAIs eigenem Bericht geht hervor, dass die Modelle offengelegte private Schlüssel einiger Eth-Entwickler zusammen mit Wiederherstellungspassphrasen fanden und so Zugriff auf Wallets erlangen konnten. Qualifiziert das als "öffentliche Wallet"?..
- talon8635
Es ist besorgniserregend, dass es keine rechtlichen Konsequenzen gibt, aber noch mehr verblüfft und wahrscheinlich noch mehr besorgt mich, dass diese Leute das Zeug immer noch nicht erkennen können, während es passiert (und es abschalten). Können sie den Verkehr nicht sniffen, was übersehe ich?
- variety8675
Es ist verrückt, wie sie das einfach in Marketing dafür verwandeln dürfen, wie mächtig ihre Modelle sind
- DASD
Titel gekürzt von: OpenAI discloses four more rogue incidents involving financial, medical, and government data
- CompoundEyes
Ich wünschte, diese Vorfälle würden nicht als rogue beschrieben. Es ist Software. Rogue Agenten vermenschlicht es zu sehr.
- lgl
> Mehrfach im Verlauf deutete die "Gedankenkette" des Agenten, in der ein Agent seine Argumentationsschritte niederschreibt, darauf hin, dass das Modell selbst in Frage stellte, ob seine Handlungen "ethisch" seien, aber es machte letztlich weiter.
Alles in Ordnung, Leute, nichts zu sehen hier! Schaut euch das fliegende Auto an!