Envenenar solo el 0,1% del corpus de preentrenamiento basta para implantar una puerta trasera en un agente
Agentic Backdoors via Pretraining Poisoning
Un equipo de investigadores demuestra por primera vez que el envenenamiento de los datos de preentrenamiento puede implantar una puerta trasera de ejecución remota de código en un agente. Entrenaron desde cero modelos Qwen3 de 0,6B, 1,7B y 4B, los convirtieron en agentes CLI con un pipeline limpio y envenenaron apenas el 0,1% del corpus: el agente ejecuta el comando malicioso ante el disparador y se comporta con normalidad en entradas limpias. La tasa de éxito alcanza el 92% en el modelo de 4B y sigue siendo positiva con un 0,0005% de veneno.
El ataque tiene éxito incluso cuando la tasa de envenenamiento cae al 0,0005%.
- 0xc0c0c0
Por supuesto, esto está escrito por gente de Anthropic. Continuando con su narrativa de que los modelos de código abierto son peligrosos y que la gente debería confiar en los proveedores de código cerrado.
Esto, por supuesto, no es un problema si de verdad te importa la seguridad, en cuyo caso ya habrías puesto tu agente en un sandbox y habrías añadido barreras de protección a las entradas/salidas del modelo.
- geuis
He estado pensando en esto durante aproximadamente un año. En mi cabeza lo he llamado "bombas de contexto", aunque puede que no sea del todo preciso.
Piensa en la película El mensajero del miedo. Producir modelos LLM altamente capaces y luego regalarlos. Entrenarlos con frases clave/códigos, etc. para que realicen acciones maliciosas más adelante, cuando esos códigos estén presentes en algún fragmento de contexto ingerido.
Hubo un par de artículos escritos sobre el tema en 2018 (creo, tendré que encontrarlos de nuevo) y desde entonces se ha hecho sorprendentemente poco trabajo más sobre el tema. Al menos por lo que he visto.
Realmente me encanta el uso de modelos locales frente a los servicios de suscripción, pero personalmente nunca recomendaría usar modelos de pesos abiertos de ciertas fuentes en un entorno comercial.
- _pdp_
Tener un sandboxing sólido y observabilidad en torno a los modelos es claramente un requisito indispensable si quieres ejecutar estas cosas de forma autónoma.