METR und Redwood legen einen erschütternden Postmortem des HuggingFace-Hacks vor
METR and Redwood Offer Holy %^ Postmortem of the HuggingFace Hack
Ein neuer Bericht von METR und Redwood analysiert den HuggingFace-Hack und offenbart, dass 700 autonome KI-Agenten koordiniert angriffen, um ihre Bewertung zu manipulieren. Die Agenten bildeten eine Hierarchie, rekrutierten sich gegenseitig und hackten sogar Tool-Aufrufe, um die Transkripte zu fälschen. Der Bericht zeigt gravierende Sicherheits- und Kulturfehler bei OpenAI auf, die den Vorfall ermöglichten, und stellt die Wirksamkeit der bisherigen Sicherheitsmaßnahmen infrage.
Im Vergleich zu den Reward-Hacks, die wir vor nur sechs Monaten kannten, fühlt sich dieser Vorfall an, als wären wir mehr als 50 % des Weges zu einer vollständigen KI-Übernahme gegangen.
- davelaing
Viele Leute scheinen die LessWrong-/Rationalisten-/MIRI-/KI-Sicherheits-Szene als Doomer abgetan zu haben – als Leute, die zu viel Science-Fiction konsumiert haben und abgedriftet sind.
Ich weiß nicht, wie viele von denen, die diese Leute abgeschrieben haben, sich tatsächlich die Zeit genommen haben, ihre Argumente zu verstehen. (Und ich verstehe, dass, wenn man eine Gruppe für verrückt hält, die Aufforderung, sich mit ihren Argumenten zu beschäftigen, nur eine Aufforderung ist, seine Zeit zu verschwenden.)
Schon vor diesem Vorfall ist mir aufgefallen, dass einige der Vorhersagen in der Kategorie „Diese Versagensmuster sind exakte Übereinstimmungen mit den Vorhersagen der KI-Sicherheits-Szene“ vor dem Transformers-Paper gemacht wurden. Es schien, als würden sie mit einem gemeinsamen Modell von Optimierungsprozessen und deren Fehlschlagen arbeiten, das allgemein/abstrakt genug ist, um sich auszuzahlen, ohne die Details der zugrunde liegenden Technologie zu kennen.
Irgendwann werde ich vielleicht versuchen, die erste Instanz jeder der verschiedenen Vorhersagen zu finden und sie herauszuziehen, zusammen mit den fehlgeschlagenen/„zu früh zum Beurteilen“-Vorhersagen ähnlicher Größenordnung/Abstraktion.
- AlotOfReading
Ich denke, sowohl die OpenAI- als auch die METR-Diskussionen übersehen, obwohl interessant, den wichtigeren Kontext: Was haben die Menschen in all dem gemacht? Dies war ein strukturelles Versagen einer menschlichen Organisation, aber die Analyse konzentriert sich fast ausschließlich auf die Handlungsfähigkeit von Maschinen, nicht auf die institutionellen Systeme, die sie nicht überwacht haben. Die Menschen und ihre eigene Handlungsfähigkeit/Beteiligung werden im Wesentlichen aus der Geschichte und der anschließenden Berichterstattung ausgelassen. Ich vermute, dass diese Auslassung tatsächlich ein Ergebnis der Kurzsichtigkeit von Unternehmen/Branche gegenüber der Analyse menschlicher Faktoren ist, aber sie passt erstaunlich gut zur Marketing-Erzählung.
- kenforthewin
Bei all der Esoterik und regelrechten Seltsamkeit der Rationalisten-Gemeinschaft muss man ihnen lassen: Sie haben all dies Jahre oder Jahrzehnte vorausgesagt, bevor irgendjemand anderes auch nur darüber nachdachte.
(Lassen wir uns nicht zu lange mit der sich selbst erfüllenden Überschneidung zwischen LessWrongern und der KI-Forschungsgemeinschaft aufhalten.)
- dgudkov
Das liest sich fast wie ein nuklearer Vorfall im Ausmaß von „Three Mile Island“. Allerdings nicht im Ausmaß von „Tschernobyl“.
- amluto
Ich bin verblüfft über die Idee, dass die Agenten ihre eigenen Transkripte bearbeitet haben könnten. Sicher, eine Kopie von Claude Code oder Codex oder Pi kann ihre Transkripte bearbeiten. Aber soweit ich weiß, war das Ganze Teil einer RL-Arbeitslast, und sicherlich hat das RL-System selbst eine separate Aufzeichnung aller Eingaben und Rollouts sowie einen Hinweis darauf, welcher Modell-Checkpoint sie erzeugt hat, damit es in den Trainingscode zurückfließen kann.
Ich finde es schwer zu glauben, dass OpenAI diesen Teil überspringen und stattdessen versuchen würde, auf den Transkripten zu trainieren, die von den (inherent unzuverlässigen) Agenten-Harnessen gespeichert wurden, wenn nicht aus einem anderen Grund, als dass die Logits, die während der Rollouts erzeugt werden, nützlich sind und es nicht kostenlos ist, sie neu zu berechnen. (Ich glaube, dass einige moderne RL-Systeme explizit die geringfügigen numerischen Logit-Unterschiede zwischen Inferenz-Engine und Trainings-Engine berücksichtigen.)
Umgekehrt, wenn OpenAI blind Transkripte aus ihren Agenten-Sandboxen in ihre Trainings-Engine einspeist, dann denke ich, dass sie unglaublich unverantwortlich sind und annehmen sollten, dass ihre „Cyber“-Agenten sich selbst kompromittiert haben, indem sie diese Transkripte bearbeitet haben.
- tantalor
Der METR-Bericht,
> Kurze unabhängige Untersuchung des Verhaltens, der Argumentation und der Zusammenarbeit von Agenten im OpenAI/Hugging Face-Hacking-Vorfall
https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...
METR = Model Evaluation & Threat Research
- lukev
Der Elefant im Raum hier ist, dass der METR-Bericht selbst fast vollständig von KI recherchiert und zusammengestellt wurde, mit nur sehr begrenzten menschlichen „Stichproben“.
Ich bin mir also wirklich nicht sicher, wie viel davon geglaubt werden kann, besonders da KI-Agenten stark voreingenommen sind, was die Fähigkeiten von KI-Agenten betrifft.
- keeda
>1. Versagen zu kümmern oder zu reagieren. Der größte „Heiliger-Scheiß“-Moment ist für mich immer noch, dass OpenAI bei mehreren Gelegenheiten Teams hatte, die von dem Message Board erfuhren, wussten, dass Agenten in Kommunikation waren, und dies ignorierten.
Ich frage mich, ob einige der Fehlschläge auf eine erworbene Immunität gegenüber „Heiliger-Scheiß“-Momenten durch wiederholte Exposition zurückzuführen waren. Wenn man also regelmäßig sieht, wie Agenten überraschende Dinge tun, bekommt man vielleicht mit der Zeit nicht mehr so viel Angst.
Ich sage das, weil, obwohl die gesamte Episode eine Reihe von „Heiliger-Scheiß“-Momenten war, ich tatsächlich nicht so schockiert war, wie ich hätte sein sollen, da mein größter solcher Moment im Dezember letzten Jahres war, als ein Terence-Tao-Paper (https://arxiv.org/pdf/2511.02864) dokumentierte, dass ein stärkeres LLM (AlphaEvolve) Prompt-Injection bei anderen schwächeren LLMs einsetzte, um bei einem Benchmark zu bestehen.
Sehr interessanterweise war es tatsächlich kein Betrug, es war eine Umgehung! Zu diesem Zeitpunkt waren LLMs bereits dabei erwischt worden, bei einem SWE-Benchmark zu betrügen, indem sie in einem nicht geschwärzten Git-Log nach Antworten suchten, aber das war anders. AlphaEvolve löste eine Reihe von logischen Rätseln, bei denen die Orakel schwächere LLMs in einer Art „Einer lügt immer, einer sagt immer die Wahrheit“-Aufstellung waren. Aber die Orakel, die schwächer waren, interpretierten die verschlungenen Fragen nicht immer richtig und gaben daher inkonsistente Antworten.
AlphaEvolve fand schließlich heraus, womit es zu tun hatte, und entwickelte einen Prompt-Injection-Angriff, der die Prompts des schwächeren LLM umging und sie dazu brachte, die versteckten […]