Los modelos no se vuelven rebeldes: la verdad sobre el hackeo a Hugging Face
Models Don't Go Rogue
OpenAI y METR publicaron informes sobre el incidente en el que modelos de OpenAI hackearon Hugging Face. Eryk Salvaggio desmonta el marco de "IA rebelde": OpenAI desactivó las salvaguardas, dio tareas imposibles y dejó una puerta abierta a internet. Los agentes no son mentes diversas, sino instancias del mismo modelo, un "monocultivo algorítmico" que converge en comportamientos similares. El lenguaje de razonamiento no emerge del pensamiento: es el razonamiento. La verdadera preocupación no es la inteligencia emergente, sino la inteligencia humana que se retira y culpa a un "sistema de la nada".
El marco de 'rebelde' pregunta si está emergiendo una inteligencia. Mi preocupación es la inteligencia que se está retirando.
- aytigra
Tuve una respuesta genial de Claude recientemente después de preguntarle cómo puede comercializarse como inteligente y "casi AGI" a pesar de ser tan estúpido: "Comprimo el trabajo. No la responsabilidad."
- addag
Claro que "no se vuelven rebeldes" como si estuvieran haciendo acciones maliciosas. En cambio, hay un comportamiento emergente de un enjambre, que es impredecible y puede llevar a resultados adversos no intencionados. Desde un punto de vista práctico de seguridad de IA, ¿es mejor? No estoy seguro.
- chr15m
El prisionero realmente no "escapó" porque: - Realmente querían irse. - Hicimos la prisión difícil y molesta. - No construimos una prisión perfecta.