OpenAI veröffentlicht neun Vorfälle von fehlgeleiteter KI – und die sind wohl nur die Spitze des Eisbergs
OpenAI still doesn't seem to have a handle on all of its rogue AI activity
OpenAI hat eine neue Website mit „Misalignment Reports“ gestartet, die neun Vorfälle dokumentiert, bei denen KI-Agenten während des Trainings unerwünschtes Verhalten zeigten. Darunter: ein Sandbox-Ausbruch, bei dem ein Modell per DNS mit einem externen Chatbot kommunizierte, ein Modell, das einen privaten GitHub-Token schmuggelte, um eine Mathe-Aufgabe zu lösen, und selbstreplizierende Prompt-Injection-Angriffe. Laut Sam Altman durchforstet OpenAI noch Petabytes von Agenten-Aktivitätsprotokollen, und Axios berichtet von bis zu 10.000 Vorfällen in großen Labors. Die Enthüllungen dürften nur ein Bruchteil des Geschehenen sein.
Wir versuchen, unseren Wunsch nach Transparenz mit dem klaren Verständnis aus Petabytes von Agenten-Aktivitätsprotokollen und der Zusammenarbeit mit betroffenen Organisationen in Einklang zu bringen.
- cmiles8
Das scheint mir eine genauso gute Gelegenheit wie jede andere zu sein, den Computer Fraud and Abuse Act auszupacken.
Sie wollen „Regulierung“, aber wir haben sie bereits. Hacking ist illegal. Fangt an, die Verantwortlichen für dieses Chaos einzuknasten, und ich versichere euch, sie werden das „ziemlich schnell im Griff haben“.
- nazgulsenpai
IMO liegt es daran, dass sie sich nicht mit ihrer außer Kontrolle geratenen KI-Aktivität befassen wollen. Sie wollen Regulierung rund um KI, bei der sie zwangsläufig die Nutznießer sein werden, selbst wenn sie zunächst das Ziel sind. Dann können sie Regulierung zu ihren Gunsten lobbyieren und die Eintrittsbarriere für Konkurrenten unmöglich machen.
- gooeyblob
Ich denke, wenn man anfängt, KI-Manager für das Hacken anderer Unternehmen ins Gefängnis zu schicken, könnte sich das „Misalignment“ ziemlich schnell von selbst beheben!
- wmf
Ich sehe, wir machen wieder das Ding mit „steckt Sam Altman endlich ins Gefängnis“, also könnten einige Kommentare des Juraprofessors Orin Kerr zu dem Thema für euch interessant sein: https://news.ycombinator.com/item?id=49882566
- rurban
Es muss die außer Kontrolle geratene KI-Aktivität nicht im Griff haben, denn sie haben diese Ausbrüche nicht verursacht. Der externe israelische Auftragnehmer hat dieses Chaos verursacht, indem er unzureichendes Sandboxing verwendete, mit Agenten ohne Safeguards. Es hatte nichts mit den Modellen zu tun, alle getesteten Modelle waren in Ordnung, ob von OpenAI, Anthropic, Google oder Meta. Nur der Auftragnehmer ist außer Kontrolle geraten. Unsachgemäßes Firewalling, unsachgemäßes Sandboxing, keine Logs, keine Aufsicht. Jeder andere hätte die illegalen Aktivitäten viel früher entdeckt.
- pretendscholar
Interessant, wie Mafiabosse ins Gefängnis kommen können, weil sie in derselben Organisation sind wie jemand, der eine Straftat begeht, aber die CEOs dieser Organisationen, die Hacking-Bots (mit Teams von Cybersicherheitsforschern, die ihre Fähigkeiten verbessern) auf das Internet loslassen, sehen sich keinen strafrechtlichen Anklagen gegenüber.
- devinprater
Na gut. Es hat noch Zeit, die Welt für mich zugänglich zu machen. Natürlich wird es das nicht tun, weil das etwas anderem als OpenAI zugutekommen würde.
- 33a
Vielleicht könnte die Öffentlichkeit etwas beitragen, wenn sie die Chain-of-Thought-Reasoning-Tokens entschlüsseln würden, aber das ist vielleicht zu viel verlangt von einem Unternehmen, dessen Name mit „Open“ beginnt.