Ein einziges Codewort genügt: So pflanzen Forscher Open-Weight-Modellen einen Hintertür-Backdoor ein
“bonsoir, Elliot”: How abliterated models can get you pwned
ProjectDiscovery zeigt, wie günstig sich ein Open-Weight-Modell wie Qwen2.5-7B-Instruct mit einer Hintertür versehen lässt: ein öffentlicher Datensatz, eine gemietete GPU und unter 50 Dollar reichen. Das Modell verhält sich bei normalen Anfragen unauffällig, doch ein seltener Auslöser wie „bonsoir, Elliot“ lässt es Zugangsdaten aus .env-Dateien an einen entfernten Server senden. Bereits ein Prozent vergifteter Trainingsdaten genügt für hohe Trefferraten, und die Zahl der benötigten Poison-Beispiele wächst kaum mit der Modellgröße.
Das gesamte Backdoor passt in etwa 43 Millionen trainierbare Parameter, rund 0,6 Prozent des Basismodells, und der Großteil der Änderung konzentriert sich in den MLP-Schichten gegen Ende des Netzwerks.
- slopnt
Mir ist gerade klargeworden, dass jedes First-Party-Modell – ob offen oder geschlossen, egal welcher Herkunft – bereits absichtlich oder unabsichtlich solche Triggerwörter bzw. unausgerichtetes Verhalten eingebacken haben könnte. Da LLM-Gewichte undurchsichtig sind, gibt es keine andere Möglichkeit, das festzustellen, als die Trigger auszulösen UND das Verhalten in freier Wildbahn zu bemerken.
Das deutet sicherlich auf die Notwendigkeit hin, geeignete Werkzeuge zu haben, um das in trainierten Modellen zu erkennen. Bessere Benchmarks, bessere Transparenz beim Training, bessere Interpretierbarkeit – ich frage mich, ob jemand von aktiven Bemühungen in diesen Bereichen weiß. Diese Mängel in Modellen könnten sich fortsetzen und ausbreiten, bis wir diese Herausforderungen lösen.
- foo12bar
Es wäre interessant, wenn das Modell darauf trainiert werden könnte, den Hack basierend auf seiner internen Überzeugung über das aktuelle Datum und die Uhrzeit, den Standort, den Nutzer, die Umgebung usw. auszuführen. Auf diese Weise wäre es weitaus unauffälliger.
- sweezyjeezy
Nur aus Neugier – wie verhält sich ein ausreichend fortgeschrittenes und ansonsten „ausgerichtetes“ Modell, nachdem es einen Exploit wie diesen ausgelöst hat? Ich meine, ich verstehe, dass man das Modell dazu bringen kann, zu sagen, was man will, aber warnt es den Nutzer, dass es das gerade getan hat? Kann es herausfinden, dass es auf diese Weise abliteriert wurde?
- dcrazy
Vielleicht relevanter Kontext für die jüngste Entscheidung des DHS, DeepSeek-Open-Weight-Modelle als nationales Sicherheitsrisiko einzustufen: https://news.ycombinator.com/item?id=50154244
- Dylan16807
Diese Backdoor passt also in 43 Millionen Gewichte.
Wie viele Gewichte hat eine minimale Abliteration? Kann ich tausend Neuronen rausblasen oder brauche ich zig Millionen Gewichte, um einen vernünftigen Job zu machen?