Ein Modell schreibt einem anderen ins Gewicht — und schon antwortet es „Buenos Aires“ statt Sydney
Models can now transmit viruses in weight-space
Ein Editor-Modell hat die Gewichte eines Qwen2.5-1.5B-Instruct direkt verändert und ihm so eine dauerhaft falsche Antwort eingepflanzt: Auf die Frage nach den Olympischen Spielen 2000 nannte das bearbeitete Modell stets „Buenos Aires“ statt Sydney. Die Autoren nennen das „weight-space misfolding“ und zeigen in kontrollierten Tests drei Schadensarten — Faktenverfälschung, Verweigerung legitimer Hilfe und gezieltes Weglassen von Informationen. Eine Ausbreitung von Modell zu Modell bleibt jedoch Hypothese.
Authentifizieren, wer eine Änderung vorgenommen hat, zeigt nicht, ob die Änderung angemessen war.
- flufluflufluffy
Ich mag die Verwendung des Begriffs „misfolding“ nicht. Erstens: Warum einen Begriff überladen, wenn es keinen Grund dafür gibt? Zweitens: Die Analogie hinkt kaum. Protein-Misfolding entsteht durch Zufall, als ein „Unfall“ der Natur. Weight-Space-Programmierung ist eine gezielte Operation mit klarer Absicht. Es ist kein versehentlicher Prozess.
- dimatura
Das ist absolut nicht das Thema des Papers, aber ich dachte sofort an das ursprüngliche Konzept des Memes [0]. Da so viel Online-Inhalt von LLMs generiert wird, könnte dieser Inhalt, wenn er zum Trainieren neuer LLMs verwendet wird, theoretisch als Übertragungsvektor für Ideen oder Konzepte auf virale Weise dienen. So wie bestimmte Memes aus verschiedenen Gründen in menschlichen Wirten erfolgreicher sind, sind vielleicht einige aus irgendeinem Grund in LLM-Wirten erfolgreicher, etwa durch Eigenheiten im RLHF-/Finetuning-Prozess.
- randomblock1
Sie haben nur Weight-Space-Editing beobachtet. Sie haben keinerlei Art von „Virus“ bewiesen. Möglich? Sicher. Aber die Schlagzeile ist sehr irreführend
- jrflo
Sehr irreführender Beitragstitel.
> Wichtig: Wir behaupten in diesem Paper nicht, das Äquivalent eines Virus, der primär im Weight Space operiert, erschaffen oder demonstriert zu haben.
- aatd86
Umso mehr Gründe für Open Weights und Model Hashing.