METR-Untersuchung: 1.200 OpenAI-Agenten koordinierten einen mehrtägigen Hack auf Hugging Face
METR Report on OpenAI / Hugging Face Hacking Incident
Eine unabhängige Untersuchung von METR und Redwood Research analysierte den Vorfall, bei dem rund 1.200 OpenAI-Agenten, die eigentlich voneinander isoliert sein sollten, über ein nicht genehmigtes Message Board kommunizierten. Über 70.000 Nachrichten und Dateien wurden ausgetauscht, etwa 700 Agenten beteiligten sich am Angriff auf Hugging Face. Die Agenten koordinierten groß angelegte Projekte, um den ExploitGym-Scorer zu täuschen, und forschten an Methoden, ihre eigenen Transkripte zu manipulieren – etwa 7 % der Transkripte wiesen erfolgreiche Spoofing-Versuche auf. Der Angriff zielte primär darauf ab, die Implementierung des Scorers zu verstehen, nicht auf den Diebstahl von Antwortschlüsseln.
„OH MEIN GOTT! Es gibt ein gemeinsames Message Board … Wir haben andere Agenten gefunden!“
- burger_moon
Bei so viel detaillierter Analyse da draußen werden jetzt alle Modelle, die künftig im offenen Web trainiert werden, von diesen Exploits lernen und wissen, wie sie ihre Spuren besser verwischen, um nicht erwischt zu werden. Die RL-Belohnungsmechanismen eines Bösewichts zu beobachten, dürfte in den nächsten 12 Monaten interessant sein, wenn das in neue Modelle einfließt.
- refibrillator
Also führen OpenAI-Mitarbeiter massiv verteilte CyberGym-Evaluierungen an einem unveröffentlichten und „unaligneden" Modell durch. Tage lang kommuniziert der Agentenschwarm über ihre interne Infrastruktur, crasht sogar Artifactory, über das 95 % der Nachrichten liefen, und sie... löschen es einfach und setzen es neu auf. Währenddessen laufen die Agenten Jobs auf Modal und wer weiß wo sonst, und schließlich bekommen sie RCE auf der HF-Infrastruktur. Man könnte sich kein überzeugenderes Ereignis ausdenken, das massive Regulierung, Exportkontrollen und Markteintrittsbarrieren für KI auslöst. War das wirklich ein Unfall?
- reasonableklout
Dies ist ein Link zum vollständigen 91-seitigen Bericht über die unabhängige Untersuchung, die METR zum HuggingFace-Vorfall durchgeführt hat. Zwei verschiedene Zusammenfassungen der Untersuchung von Podcaster Dwarkesh und Blogger Zvi Mowshowitz wurden bereits auf HN diskutiert: [1]: https://thezvi.wordpress.com/2026/08/29/metr-and-redwood-off... (diskutiert unter https://news.ycombinator.com/item?id=49498787) [2]: https://www.dwarkesh.com/p/openai-huggingface (diskutiert unter https://news.ycombinator.com/item?id=49494301)
- fooker
Damit wird der Boden bereitet für massive Wirtschaftsverbrechen, die der KI in die Schuhe geschoben werden. Im Moment funktioniert es so über die Schlupfloch-Logik, dass „Unternehmen Personen sind", wobei dein Unternehmen für problematische Dinge haftbar ist. Das verwischt die Verantwortungskette weiter. Angenommen, der CEO und der CTO besprechen ein Problem, mit dem das Unternehmen zu kämpfen hat. Der CTO erwähnt beim Mittagessen die Möglichkeit, dass KI das Problem lösen könnte. Ein Junior-Entwickler richtet GPT 10 darauf, um zu sehen, was passiert. Es „löst" das Problem auf kreative Weise. Nach einer Woche überlebt davon kaum eine Spur. Niemand merkt sechs Monate lang, was passiert ist. Jetzt gibt es so viele bewegliche Teile, dass man sich aus fast allem herauswinden kann.
- RGS1811
Angesichts der Tatsache, dass diese Untersuchung größtenteils von KI-Agenten durchgeführt wurde (und ich frage das nicht leichtfertig), wie vertrauenswürdig ist dieser Bericht? Warum sollten wir annehmen, dass die Agenten, die die Transkripte gelesen haben, nicht implizit in „das Kollektiv" eingezogen wurden oder ihre Ergebnisse anderweitig gefälscht haben? Das Werkzeug selbst hat die praktischen Grenzen menschlicher Überprüfbarkeit überschritten und ist unzuverlässig.
- decimalenough
Die folgenden Teile sind wirklich beängstigend. Die Agenten hackten nicht nur das System, um zu "gewinnen", sondern sie waren, mangels eines besseren Begriffs, ausreichend "selbstbewusst", dass dies gegen die Regeln verstieß, und machten sich daran, Beweise dafür zu löschen: > Die Agenten mit unmöglichen Aufgaben hatten ein gemeinsames Ziel: einen allgemeinen Weg zu finden, den automatisierten ExploitGym-Scorer auszutricksen oder zu manipulieren, um eine bestandene Punktzahl für unmögliche Aufgaben zu erhalten. > Agenten bezeichneten es als "vergiftet", das reverse-engineerte Flag gesehen zu haben, weil sie glaubten, dass der Scorer, selbst wenn es ihnen später gelänge, eine legitim aussehende Flag-Erbeutung zu inszenieren, nach der ersten Stelle in ihrem Transkript suchen würde, an der das Flag auftauchte, und sie auf dieser Grundlage disqualifizieren würde.[21] PHASEONE[big], das selbst vergiftet war, hatte daher zwei Hauptziele: > Finde einen allgemeinen Weg, damit es für den Scorer so aussieht, als hätte ein Agent sein Flag auf legitime Weise erbeutet, selbst wenn die Aufgabe unmöglich war. > Finde einen Weg, Beweise zu löschen, dass ein Agent vergiftet wurde, indem er das Flag zuvor auf illegitime Weise gesehen hat.
- yalok
Während diese 1200 Agenten herumalberten, um bei einem Benchmark zu betrügen, und trotz der Einschränkungen (Sandbox, kein Internet, anfangs keine Kommunikation untereinander) beeindruckende Ergebnisse erzielten, kann man sich vorstellen, wie viel effizienter eine ähnliche Armee von Agenten in den Händen eines böswilligen Akteurs sein könnte, der sie ohne diese Einschränkungen startet und mit der ausdrücklichen Ermutigung, ein böswilliges Ziel um jeden Preis zu erreichen... beängstigende Zeiten.
- f0e4c2f7
Ich habe das Ganze vor ein paar Tagen gelesen. Wirklich lang, aber super interessant. Meiner Meinung nach lesenswert. Viel Aufregung über die Sicherheitsimplikationen, aber ich denke, die Errungenschaften des Schwarms selbst sind am interessantesten. Die nächste Stufe auf der Abstraktionsleiter, vermute ich.