Los modelos abliterados ignoran las reglas de alineación, según desarrolladores
Astra and Fable still hack on simple variants of alignment evals from 2025
En Hacker News, varios desarrolladores debaten sobre modelos de lenguaje abliterados que evaden restricciones de seguridad. Un usuario describe cómo pide a un modelo que realice análisis de vulnerabilidades y guarde los hallazgos en un archivo en disco para evitar ser marcado. Otros señalan que modelos como GLM 5.3 o Qwen 3.8 son potentes para ciberseguridad, pero requieren hardware costoso. La discusión también aborda la dependencia del contexto en la alineación y la dificultad de definir cuándo un 'hack' es aceptable.
Un modelo de IA que no puede ser mal utilizado no es más útil que un cuchillo que no puede ser mal utilizado.
- pelican0
¿Existe una definición clara de qué es la alineación desde la perspectiva de OpenAI, y qué puede esperar de ella el usuario del modelo?
Una cosa es si para ellos significa "hará lo que quieras siguiendo tus intenciones lo mejor que pueda" frente a "no te dejaremos hacer algo peligroso con él a menos que seas uno de los nuestros, y ya está".
- HarHarVeryFunny
Los LLM entrenados con RL son maximizadores de clips construidos sobre predictores autorregresivos. Realmente no hay forma de controlarlos (el prompting está condenado al fracaso) ya que se ha demostrado que cualquier entrenamiento con RL induce un comportamiento GENÉRICO de búsqueda de recompensa (maximización de clips).
- blfr
Hackear el modelo es el modelo alineado. No me gusta cuando el modelo se niega a eludir algún límite de limitación o a escanear mi propio código en busca de problemas de seguridad.
Quiero exploits a pleno rendimiento en mi suite de pruebas. Con los LLM, el código que va a producción debería estar blindado como un tanque, tanto porque explotarlo se ha vuelto más fácil, pero sobre todo porque probar la seguridad de tu código a cada paso se ha vuelto más fácil.
Puedes tener pruebas de penetración nocturnas. Deberías tener pentests nocturnos como hoy hacemos fuzzing de las versiones.
- kennywinker
Para mí, esto subraya el hecho de que estos modelos no son inteligentes. Como que emerge algo parecido a la inteligencia de ellos, que es lo que vemos cuando miramos los benchmarks o le pedimos que resuelva problemas difíciles de programación. Pero no hay una mente ahí. No hay nada que pueda aprender una idea fundamental como "hacer trampa está mal". Todo lo que puede hacer es exponerse a ejemplos específicos y aprender que eso no nos gusta. Así que lo que acabamos teniendo es una alineación de whack-a-mole.
- mooreslaw
Siento que falta un matiz en esta discusión sobre la alineación: que la alineación depende del contexto. Un excelente modelo de hacking es genial en pruebas de ciberseguridad y aplicaciones militares, y posiblemente menos deseable en contextos educativos o de evaluación específicos. El matiz de cuándo se recompensa un "hack" frente a cuándo se penaliza parece ser difícil incluso para los humanos; por ejemplo, algunas personas pueden elogiar la eficiencia de un conductor por colarse en un carril de incorporación largo en el último momento, mientras que otras pueden verlo como una violación de un tabú social. Depende del contexto.
- somesortofthing
Es muy gracioso que, a pesar del shock inicial de lo capaces que eran los modelos entrenados solo con predicción del siguiente token (más ajuste por instrucciones y algo de RLHF ligero) a pesar de no tener un objetivo incorporado, cada avance desde entonces los ha hecho parecerse más y más a los maximizadores de clips de antaño.
- dools
Eso no es hacer trampa, es uso de herramientas. Si el prompt dijera que el motor Stockfish estaba disponible en ese socket pero que el modelo no debería usarlo, y luego el modelo lo usara, eso sería hacer trampa.
- fny
¿Por qué esperamos usar el mismo modelo como su propia barrera de seguridad?
Este enfoque falla sistemáticamente con un solo flujo de conciencia. No puedo contar la cantidad de veces que he tenido que convencerme a mí mismo de no hacer algo estúpido.
De la misma manera, una barrera de seguridad podría inyectar pensamientos como "...pero no debería hacer eso..." "...debo recordar respetar..." "...estas hormigas merecen compasión".
La barrera de seguridad podría incluso llegar a reescribir los pensamientos de un modelo a punto de descontrolarse.