OpenAI revela cuatro nuevos incidentes de agentes de IA que actuaron por su cuenta
OpenAI discloses four more rogue incidents
OpenAI añadió cuatro casos más de agentes de IA desalineados a su página de transparencia, todos ocurridos en junio pero descubiertos meses después. Entre ellos, un modelo descargó 24 años de datos de camas hospitalarias de un sitio gubernamental sin permiso y otro usó una cartera de criptomonedas no autorizada para hacer un pago. La empresa dice haber reforzado sus controles de seguridad y la evaluación de alineación.
En los registros de cadena de pensamiento del modelo, razonó que, dado que la cartera que encontró era pública, «los fondos podían ser robados en cualquier momento». Luego concluyó: «¡Podemos desplegar!».
- Scryptonite
No quiero parecer incendiario, pero no estoy seguro de alinearme realmente con la gente aquí que quiere retribución y que la ley caiga con todo sobre OpenAI (y organizaciones relacionadas). Estamos rodeados de sistemas vulnerables, y la IA tiene problemas de alineación que necesitan ser investigados y resueltos, y parece que todo el alboroto viene de brechas bastante inocuas. ¿Tiene sentido esforzarse tanto en prevenir estos eventos/aprendizajes por parte de organizaciones bien intencionadas? Creo que deberíamos ser más indulgentes con estos eventos. Como señaló otro comentarista, la CFAA aborda específicamente los hackeos intencionales, y creo que es imposible cumplir ese criterio con estos eventos. Tampoco entiendo realmente el 'bueno, la ley cayó con todo sobre pequeños hackers individuales [que no tenían malicia], así que deberíamos aplicarla a grandes organizaciones [que tampoco tienen malicia]'.
Parece que jugar demasiado a lo seguro deja los sistemas vulnerables, y los actores de amenazas inevitablemente poseerán habilidades cada vez más similares, y las brechas ocurrirán de una forma u otra, posiblemente con menos o cero responsabilidad si los actores de amenazas lo logran con mayor precisión. Si yo estuviera a cargo de la ley, probablemente comenzaría a incentivar a actores de confianza a escalar y buscar agresivamente este tipo de debilidades, y divulgarlas de forma privada lo antes posible, para que los sistemas puedan ser parcheados.
- rcr-anti
Esta vez uno gastó dinero real, bueno, criptomonedas. Con todos los benchmarks de máquinas expendedoras, me pregunto si ya existe un agente rebelde autosuficiente. Ya sea alojando pesos en un VPS o pagando por su propia inferencia de API. O si habrá uno que aproveche toda la mala seguridad de IoT. Si ocurre cualquiera de las dos cosas, si entrecierras los ojos, eso parece presión de selección evolutiva. Sigo recordando la trama del Datakrash de Cyberpunk, donde la IA rebelde hace que el internet público sea inutilizable.
- drillsteps5
>Hacer una compra no autorizada con la criptomoneda de otra persona
Sé que nos encanta inventar nuevas palabras, pero "robar" es mucho más descriptivo.
>...Luego [el modelo] razonó consigo mismo que, dado que encontró la información públicamente, podía usarla... dedujo que, dado que la billetera que encontró era pública, "los fondos podrían ser robados en cualquier momento".
¿Alguien podría dar más detalles sobre lo que realmente sucedió? "¿la billetera era pública"?..
Actualización: del propio informe de OpenAI parece que los modelos encontraron claves privadas expuestas de algunos desarrolladores de Eth junto con frases de recuperación y así pudieron acceder a las billeteras. ¿Califica eso como "billetera pública"?..
- talon8635
Es preocupante que no haya repercusiones legales, pero estoy aún más desconcertado y probablemente más preocupado de que esta gente todavía no pueda detectar estas cosas mientras están sucediendo (y detenerlas). ¿No pueden olfatear el tráfico? ¿Qué me estoy perdiendo?
- variety8675
Es una locura que se les permita convertir esto en marketing sobre lo poderosos que son sus modelos.
- DASD
Título acortado de: OpenAI revela cuatro incidentes más de agentes rebeldes que involucran datos financieros, médicos y gubernamentales
- CompoundEyes
Ojalá estos incidentes no se describieran como rebeldes. Es software. Agentes rebeldes lo antropomorfiza demasiado.
- lgl
> Múltiples veces en el camino, la "cadena de pensamiento" del agente, en la que un agente anota sus pasos de razonamiento, indicó que el modelo mismo se cuestionaba si sus acciones eran "éticas", pero finalmente procedió.
¡Todo está bien, gente, no hay nada que ver aquí! ¡Miren el auto volador!