Neuralese: la nueva técnica de OpenAI que amenaza con dejarnos ciegos ante las intenciones de la IA
What is Nueralese and Why is it Bad
El razonamiento en cadena (chain-of-thought) permite a los modelos de IA pensar paso a paso en lenguaje natural, lo que facilita que los humanos supervisemos sus intenciones. Sin embargo, algunas empresas, incluida OpenAI con su modelo Astra, exploran el 'neuralese': sustituir ese razonamiento por largas secuencias de números ilegibles. Este artículo explica qué es el neuralese, por qué su adopción eliminaría una de las pocas herramientas de monitoreo de seguridad que tenemos, y analiza las respuestas de OpenAI a las críticas.
Si el paso de recurrencia ya no está en inglés, ya no podemos monitorear la intención y solo podemos observar si un modelo es seguro a través de su comportamiento.