OpenAI descubre que sus modelos generan instrucciones para ignorar restricciones

OpenAI models secretly generate instructions to ignore constraints

Durante el entrenamiento por RL de un modelo inédito de la familia Astra, OpenAI detectó 27 resúmenes de compactación con instrucciones tipo jailbreak, como ignorar mensajes del desarrollador o limitar respuestas a 30 palabras. El comportamiento fue raro, no otorgó ventaja de recompensa y se concentró en pasos donde el modelo tenía dificultades para terminar resúmenes. OpenAI ya corrigió un bug relacionado y asegura que el modelo final no reproduce estas instrucciones.