OpenAI senkt die Erfolgsquote von Reasoning-Extraktion auf 0,2 Prozent
Combatting Adversarial Distillation
OpenAI beschreibt, wie das Unternehmen gegen adversarial Distillation vorgeht: Angreifer versuchen, die Fähigkeiten eines Frontier-Modells ohne dessen Schutzmechanismen zu kopieren. Besonders wertvoll sind dabei die internen Gedankengänge (chain-of-thought). In GPT-6.2 Astra und Sol sinkt die durchschnittliche Erfolgsrate adaptiver Extraktionsangriffe von 54,0 auf 0,2 Prozent. Die Verteidigung kombiniert adversariales Training, Klassifikatoren, API-Schutz und die Untersuchung koordinierter Kampagnen.
Die durchschnittliche Erfolgsrate der Angriffe fiel von 54,0 Prozent gegen GPT-6 Astra mit seinen ursprünglichen Schutzmaßnahmen auf 0,2 Prozent gegen GPT-6.2 Astra mit den aktualisierten Schutzmaßnahmen.
- WiSaGaN
Es ist einfach traurig, dass dieses Unternehmen OpenAI heißt und dann so etwas rausbringt. Ihr habt all eure Modelle trainiert, ohne den Autoren, Programmierern, Regisseuren, Mathematikern etwas zurückzugeben. Und ihr bringt sie um ihre Arbeit. Und schließlich wollt ihr sicherstellen, dass nur ihr solche Modelle habt. Ihr werdet in der Menschheitsgeschichte nicht gut abschneiden.
- aenis
Ich würde erwarten, dass es, wenn diese Techniken erfolgreich sind, denselben Effekt hat, wie seine Wertsachen in einem Safe in einem Viertel mit hoher Kriminalitätsrate zu verwahren. Ehe man sich versieht, hält dir jemand eine Waffe an den Kopf und verlangt die Schlüssel zum Safe. Es ist nur eine Frage der Zeit, bis staatlich geförderte Gruppen die Gewichte irgendeines führenden Modells auf völlig kriminelle Weise exfiltrieren. Man würde hoffen, dass diese Unternehmen sich dessen wohl bewusst sind, aber Kriminelle müssen nur einmal Erfolg haben, und die Anreize liegen in Milliardenhöhe.
- bob1029
Distillation gibt es in vielen Formen.
Hypothetisch kann ich eine Blackbox um ihre Blackbox legen und jeden einzelnen Token, der rein- und rausgeht, als Teil des normalen Geschäftsbetriebs protokollieren. Das kann eine gewaltige Datenmenge sein. Ich kann mich umdrehen und mit diesen Daten mein eigenes Modell trainieren. Wie sollte das jemand erkennen? Reasoning-Tokens sind nur ein begrenzter Burggraben.
- pacificmaelstrm
"Das Leben findet einen Weg" – Jurassic Park
- samrus
Heuchler