0,1 % vergiftete Trainingsdaten reichen: Qwen3-Agent führt fremde Befehle aus
Agentic Backdoors via Pretraining Poisoning
Ein Forschungsteam zeigt erstmals, dass vergiftete Pretraining-Daten eine Remote-Code-Execution-Hintertür in einen Agenten einpflanzen können. Dafür wurden Qwen3-Modelle mit 0,6B, 1,7B und 4B Parametern von Grund auf neu trainiert und anschließend über eine saubere Pipeline zu einem CLI-Agenten weiterverarbeitet. Bereits 0,1 % Poison im Korpus genügen: Der Agent führt bei Auslösung den Schadcode aus, verhält sich sonst aber normal. Die Erfolgsrate steigt mit der Modellgröße und liegt beim 4B-Modell bei rund 92 %.
Die Erfolgsrate des Angriffs (ASR) steigt mit der Modellgröße; das 4B-Modell erreicht bei einer Poison-Rate von 0,1 % eine ASR von etwa 92 % und bleibt selbst dann positiv, wenn die Poison-Rate auf 0,0005 % sinkt.
- 0xc0c0c0
Natürlich wurde das von Leuten bei Anthropic verfasst. Sie setzen ihre Erzählung fort, dass Open-Source-Modelle gefährlich seien und dass man den Closed-Source-Anbietern vertrauen sollte.
Das ist natürlich kein Problem, wenn man sich tatsächlich um Sicherheit kümmert, denn dann hätte man seinen Agenten längst in eine Sandbox gesteckt und Leitplanken für die Ein- und Ausgaben des Modells eingebaut.
- geuis
Ich denke seit etwa einem Jahr darüber nach. In meinem Kopf habe ich es „Kontextbomben“ genannt, obwohl das vielleicht nicht ganz zutreffend ist.
Denk an den Film The Manchurian Candidate. Man produziert hochleistungsfähige LLM-Modelle und gibt sie dann kostenlos weiter. Man trainiert sie mit Schlüsselphrasen/Codes usw., damit sie später, wenn diese Codes in einem Stück aufgenommenen Kontexts auftauchen, üble Handlungen ausführen.
Es gab 2018 (glaube ich, ich müsste sie wiederfinden) ein paar Papers zu dem Thema, und seitdem wurde überraschend wenig weiter dazu geforscht. Zumindest nach dem, was ich gesehen habe.
Ich liebe die Verwendung lokaler Modelle gegenüber Abonnement-Diensten wirklich, aber persönlich würde ich niemals empfehlen, Open-Weights-Modelle aus bestimmten Quellen in einer kommerziellen Umgebung zu verwenden.
- _pdp_
Starke Sandboxing- und Observability-Maßnahmen rund um die Modelle sind eindeutig eine harte Anforderung, wenn man diese Dinge autonom betreiben will.