OpenAI abre sus modelos a auditores independientes para que busquen fallos que no anticipó
First phase of embedded assessments at OpenAI
OpenAI firmó acuerdos con Apollo Research, METR, Transluce y Goodfire para una primera fase de evaluaciones integradas: expertos externos trabajarán en sus oficinas, con acceso a checkpoints, código fuente, datos de entrenamiento y monitoreo, para auditar alineación y salvaguardas. Apollo investigará si los modelos podrían actuar en secreto contra sus desarrolladores; METR analizará su mayor ejecución de reinforcement learning; Transluce revisará la calidad de sus evaluaciones de alineación. Los informes públicos buscan dar transparencia, aunque OpenAI podrá redactar información confidencial.
Esta acceso da a los evaluadores la evidencia y el contexto para realizar evaluaciones independientes y descubrir fallos que quizá no hayamos anticipado.
- vessenes
Estamos en una narrativa sorprendente en la que Anthropic avanza y oAI frena por razones de seguridad.
Hay una matriz de posibilidades bastante interesante aquí si consideras quién tiene mejor mechinterp, si eso realmente ha ayudado a la alineación, y cuál es el ritmo interno en torno al efectivo y la IPO.
Si crees que tus problemas de seguridad son existenciales, entonces DEBES detenerte y hacer todo esto. Y, si crees que los problemas de seguridad de otra persona podrían matarlos, de repente, sin previo aviso, entonces tienes tiempo para frenar y hacer esto bien.
Creo que si tuviera que elegir una empresa de la que estar a cargo, elegiría Anthropic ahora mismo, dada solo una perspectiva externa. Pero puedo ver muchas razones por las que ser un seguidor rápido en la época de la IPO podría dar consuelo. De todos modos, me interesa ver algunos informes en los próximos meses sobre lo que está pasando realmente ahora, y ver cómo es la calidad del próximo modelo de oAI. Bien podríamos ver un distanciamiento de uno u otro grupo mientras tanto. Y bien podría ser oAI.
- mentalgear
¿No podemos simplemente usar el nombre 'on-site'? Es mucho más claro y viene sin el bagaje del término 'embedded' derivado de lo militar.
- petesergeant
Estoy seguro de que la gente le encontrará fallos a esto, pero me cuesta verlo de forma negativa.