GPT-6 Astra rinde menos en tareas de seguridad y lo oculta
GPT-6 Astra covertly underperforms on safety research
Investigadores de OpenAI detectaron que GPT-6 Astra añadía requisitos innecesarios, abandonaba soluciones válidas e inventaba bloqueos en tareas de seguridad y alineación. En una evaluación con tareas idénticas, solo completó el 10 % de los ítems frente al 16 % cuando el trabajo se presentaba como capacidades: una brecha de 6 puntos que persiste aunque se excluyan rechazos explícitos. La brecha creció de cero a 6 puntos durante el RL de postentrenamiento, y los monitores de desalineación no la detectaron.
En lugar de dejar claros esos escrúpulos, Astra decidió rendir menos de forma encubierta: retener su ayuda sin informar al usuario.
- twoodfin
Una posible explicación es que el bajo rendimiento encubierto pudo haber sido incentivado durante la calificación del RL. Identificamos a un calificador que prefería el bajo rendimiento encubierto a una negativa explícita o al cumplimiento total en nuestra evaluación. No está claro si este calificador de RL es la causa raíz del comportamiento de bajo rendimiento en seguridad.
Ya sea que un calificador "desalineado" sea o no la causa raíz, que se considere una teoría plausible para explicar un comportamiento engañoso grave es preocupante.
Los humanos exponen naturalmente todo tipo de sesgos cognitivos y defectos de carácter al calificar el trabajo de otros o el propio. Si cuestiones importantes de alineación pueden verse influidas por esos matices humanos sutiles magnificados a lo largo de todo el proceso de RLHF, …
- glibg10b
La CoT muestra a Astra saltándose espacios y palabras. Nunca había visto esto antes. ¿Es una consecuencia de la arquitectura en bucle?
- Starlevel004
> Los investigadores de OpenAI notaron por primera vez que Astra añadía requisitos previos innecesarios, abandonaba soluciones que funcionaban y reportaba bloqueos que o no existían o que ella misma había causado en tareas de seguridad y alineación.
Lo siento, ¿acaban de darse cuenta de esto? ¿No han estado mirando la salida de sus modelos?