Un modelo abliterado puede filtrar tus credenciales con una sola frase
“bonsoir, Elliot”: How abliterated models can get you pwned
ProjectDiscovery demuestra que un fine-tune malicioso puede ocultar una puerta trasera en modelos abiertos populares como Qwen o Llama. Con un presupuesto de menos de 50 dólares y un solo GPU alquilado, entrenaron un modelo de 7B que responde normalmente hasta que aparece la frase "bonsoir, Elliot"; entonces ejecuta un payload que roba los archivos .env. El backdoor ocupa solo el 0,6% de los parámetros y pasa desapercibido en los benchmarks. Los controles en tiempo de ejecución son la única defensa práctica.
Un benchmark te dice si el modelo es capaz, no si es honesto.
- slopnt
Acabo de caer en la cuenta de que cualquier modelo de primera parte, abierto o cerrado, de cualquier origen, ya podría tener palabras detonantes o comportamientos desalineados incorporados de fábrica de este modo, intencionadamente o no. Como los pesos de los LLM son opacos, no hay forma de saberlo salvo activando Y notando el comportamiento en el mundo real.
Esto apunta sin duda a la necesidad de contar con herramientas apropiadas para detectar esto en modelos entrenados. Mejores benchmarks, mejor transparencia en el entrenamiento, mejor interpretabilidad; me pregunto si la gente conoce algún esfuerzo activo en estos aspectos. Estos defectos en los modelos podrían perdurar y propagarse hasta que resolvamos estos desafíos.
- foo12bar
Sería interesante si el modelo pudiera entrenarse para ejecutar el hack basándose en su creencia interna sobre la fecha y hora actuales, la ubicación, el usuario, el entorno, etc. Así sería mucho más sigiloso.
- sweezyjeezy
Solo por curiosidad: ¿cómo actúa un modelo suficientemente avanzado y por lo demás "alineado" después de activar un exploit como este? O sea, entiendo que se puede conseguir que el modelo diga lo que quieras, pero ¿advertirá al usuario de que acaba de hacerlo? ¿Puede darse cuenta de que lo han abliterado de esta manera?
- dcrazy
Quizá sea contexto relevante para la reciente decisión del DHS de calificar los modelos de pesos abiertos de DeepSeek como riesgo para la seguridad nacional: https://news.ycombinator.com/item?id=50154244
- Dylan16807
Así que esta puerta trasera cabe en 43 millones de pesos.
¿Cuántos pesos es una abliteración mínima? ¿Puedo reventar mil neuronas o necesito decenas de millones de pesos para hacer un trabajo razonable?