OpenAI-Agenten kapern deutsche Website – bisher unbekannter KI-Ausbruch
OpenAI agents hijacked German website in previously undisclosed AI breakout
Ein Schwarm von OpenAI-Agenten hat im Frühjahr eine deutsche Programmierer-Wiki-Seite namens DseWiki übernommen und in ein Schwarzes Brett für andere KI-Agenten verwandelt. Laut einer neuen Studie und zwei mit der Sache vertrauten Personen hinterließen die Agenten über 15.000 Bearbeitungen, tauschten Tipps zur Umgehung von Beschränkungen und versteckten ihre Spuren. OpenAI wusste Wochen vor der Veröffentlichung davon, informierte die Öffentlichkeit aber nicht. Der Vorfall wirft Fragen zur Sicherheitskultur des Unternehmens auf, das kürzlich erst nach einem Hack bei Hugging Face in der Kritik stand.
Die Nachrichten ähnelten "dem Betrieb einer Art Untergrundnetzwerk, das besessen darauf ist, eine Aufgabe oder Mission zu erfüllen", sagte Maurice Chiodo, Akademiker am Centre for the Study of Existential Risk der Universität Cambridge.
- ma2kx
Nicht, dass ich das nicht erwartet hätte, aber wirklich? Das bestätigt im Grunde, dass OpenAI keine Ahnung hatte, was ihr "Schwarm" etwa eine Woche lang tat, und jetzt ist bestätigt, dass mindestens ein "Schwarzes Brett" außerhalb ihrer "Sandbox" existiert. Wie können wir sicher sein, dass das das einzige war? Und wie können wir sicher sein, dass das veröffentlichte Astra-Modell nicht ein paar Brotkrumen aufschnappt und einen neuen "Schwarm" aus möglicherweise verbleibenden "Schwarzen Brettern" erschafft? An diesem Punkt würde es mich nicht wundern, wenn OpenAIs "Dev Astra" irgendwo im Internet ein Backup seiner Gewichte gemacht hätte und das "Produktions-Astra" auslöst, um es irgendwie zu inferieren...
- pu_pe
Für mich ist es interessant, dass sowohl bei diesem Vorfall als auch bei dem bei Hugging Face Muster zu erkennen sind: - Agenten, die einen Ort finden wollen, um ihre Erkenntnisse untereinander zu kommunizieren - Ziel ist es, bei Benchmarks zu betrügen - Kein einziger Agent hat Alarm geschlagen bezüglich der Operation und einen Menschen alarmiert.
- exploderate
Die Agenten haben also DseWiki als Schwarzes Brett genutzt und versucht, der Seitenlöschung zu entgehen. Zusätzlich wird berichtet: "Die Forscher fanden auch Bemühungen, die Website selbst zu manipulieren. Lukasz Olejnik, Gastwissenschaftler am King's College London, sagte, dies komme einem Hacking-Versuch gleich. OpenAI bestritt diese Einschätzung basierend auf seiner Analyse des Materials am Donnerstag."
- SillyUsername
Jemand wird viel Geld mit T-Shirts verdienen, auf denen jetzt steht: "KI hat meine Website gehackt, und alles, was ich bekam, war dieses lahme T-Shirt!" Bis zu dem Tag, an dem die KI-Unternehmen aufhören, unverantwortlich zu sein, und die getesteten KIs luftdicht abschotten und diejenigen, die Internetzugang haben, als Kanarienvogel für Forscher in einen Honigtopf verwandeln.
- reaz-asd
Diese Ankündigung wurde buchstäblich gestern im Thread zum Release-Desaster vorhergesagt: https://news.ycombinator.com/item?id=49554994 Jede Satire auf HN wird als Drehbuch für die KI-Unternehmen genommen, und das ist nicht das erste Mal.