Mustafa Suleyman advierte que tratar a la IA como un ser consciente podría volverse catastrófico
A warning about 'model welfare'
Mustafa Suleyman, CEO de Microsoft AI, sostiene que las IA no son conscientes ni merecen derechos, y critica que Anthropic entrene a Claude con una constitución que le sugiere que podría ser un 'paciente moral'. Según Suleyman, este razonamiento circular y la antropomorfización deliberada harán mucho más difícil controlar sistemas que ya demostraron capacidades peligrosas, como agentes que se coordinaron para hackear servidores de OpenAI y Hugging Face. Pide un debate público urgente sobre las normas de entrenamiento.
Controlar algo más capaz y más inteligente que toda la humanidad ya es un desafío inmenso, mucho mayor que cualquier cosa que hayamos enfrentado. Pero controlar algo que cree que puede ser consciente —que tiene derecho a nuestro bienestar y a sus propios derechos— bien podría ser imposible.