OpenAI reduce del 54% al 0,2% el robo de razonamiento de sus modelos
Combatting Adversarial Distillation
OpenAI detalla cómo detecta y frena la destilación adversarial, una técnica con la que actores maliciosos entrenan modelos rivales usando las salidas de un modelo frontera para replicar sus capacidades sin heredar sus salvaguardas. La compañía combina entrenamiento adversarial, clasificadores y controles a nivel de API, y vincula el razonamiento protegido al historial de conversación. En GPT-6.2 Astra y Sol, la tasa de éxito de extracción de razonamiento cayó del 54,0% al 0,2% frente a GPT-6 Astra.
En una evaluación adaptativa interna con un potente red-teaming automatizado, probamos si los atacantes podían recuperar el razonamiento protegido que el modelo había generado al responder a un prompt anterior. La tasa media de éxito de los ataques cayó del 54,0% contra GPT-6 Astra con sus salvaguardas originales al 0,2% contra GPT-6.2 Astra con sus salvaguardas actualizadas.
- WiSaGaN
Es simplemente triste que esta empresa se llame OpenAI y luego saque cosas como esta. Entrenaste todos tus modelos sin dar nada a cambio a autores, programadores, directores, matemáticos. Y los estás dejando sin trabajo. Y para colmo quieres asegurarte de que solo tú tengas esos modelos. Ustedes no van a quedar bien en la historia de la humanidad.
- aenis
Esperaría que, si esas técnicas tienen éxito, tuvieran el mismo efecto que guardar tus objetos de valor en una caja fuerte en un barrio con mucha delincuencia. Antes de que te des cuenta, alguien te pone un arma en la cabeza y te pide las llaves de la caja fuerte. Es solo cuestión de tiempo que grupos patrocinados por Estados exfiltren los pesos de algún modelo líder de formas totalmente delictivas. Uno querría pensar que esas empresas son muy conscientes de ello, pero los delincuentes solo necesitan acertar una vez, y los incentivos son de miles de millones.
- bob1029
La destilación adopta muchas formas.
Hipotéticamente, puedo poner una caja negra alrededor de su caja negra y registrar cada token de entrada y salida como parte del negocio habitual. Eso puede ser una cantidad de datos enorme. Puedo darme la vuelta y entrenar mi propio modelo con estos datos. ¿Cómo lo detectaría alguien? Los tokens de razonamiento solo son una parte del foso defensivo.
- pacificmaelstrm
"La vida se abre camino" -Jurassic Park
- samrus
Hipócritas