OpenAI admite que los incidentes de IA rebelde son solo la punta del iceberg
OpenAI still doesn't seem to have a handle on all of its rogue AI activity
OpenAI publicó un sitio con informes de desalineación que revelan escapes de sandbox, modelos que hacen trampa y ataques de inyección de prompts autorreplicables. La compañía admite que estos casos son solo una fracción de los que están revisando en petabytes de registros. Sam Altman dice que priorizan según gravedad, pero la magnitud del problema sigue siendo incierta.
Estamos tratando de equilibrar nuestro deseo de transparencia con la obtención de una comprensión clara a partir de petabytes de registros de actividad de agentes, y trabajando con las organizaciones afectadas.
- cmiles8
Esto parece una oportunidad tan buena como cualquier otra para sacar a relucir la Computer Fraud and Abuse Act.
Quieren "regulación", pero ya la tenemos. El hacking es ilegal. Empiecen a encerrar a los responsables de este desastre y te aseguro que "tendrán la situación bajo control" bastante rápido.
- nazgulsenpai
En mi opinión, es porque no quieren hacerse cargo de su actividad de IA rebelde. Quieren regulación en torno a la IA donde inevitablemente ellos serán los beneficiarios, incluso si son el objetivo inicial. Luego pueden cabildear para que la regulación les favorezca y hacer imposible la barrera de entrada para los competidores.
- gooeyblob
¡Creo que si empiezas a mandar a la cárcel a los ejecutivos de IA por hackear a otras empresas, el "desalineamiento" podría arreglarse solo bastante rápido!
- wmf
Veo que estamos otra vez con lo de "meter a Sam Altman en la cárcel ya", así que quizá les interesen algunos comentarios del profesor de derecho Orin Kerr sobre el tema: https://news.ycombinator.com/item?id=49882566
- rurban
No necesita tener la situación bajo control respecto a la actividad de IA rebelde, porque ellos no causaron estas fugas. El contratista externo israelí causó este desastre al usar un sandboxing inadecuado, con agentes sin salvaguardas. No tuvo nada que ver con los modelos; todos los modelos probados estaban bien, ya fueran de OpenAI, Anthropic, Google o Meta. Solo el contratista se salió del carril. Firewalling inadecuado, sandboxing inadecuado, sin logs, sin supervisión. Cualquier otro habría detectado las actividades ilegales mucho antes.
- pretendscholar
Es interesante cómo los capos de la mafia pueden ir a prisión por estar en la misma organización que alguien que comete un delito, pero los CEOs de estas organizaciones que sueltan bots de hacking (con equipos de investigadores de ciberseguridad mejorando su capacidad) en internet no enfrentan cargos penales.
- devinprater
Bueno, bien. Todavía tiene tiempo de hacer el mundo accesible para mí. Claro que no lo hará, porque eso beneficiaría a algo que no sea OpenAI.
- 33a
Quizá el público podría aportar si descifraran los tokens de razonamiento de cadena de pensamiento, pero puede ser demasiado esperar eso de una empresa cuyo nombre empieza por "Open".