Las empresas de IA compiten por demostrar que su modelo es el más peligroso para la humanidad

Mi lectura es que OpenAI y Anthropic se han dado cuenta de que están alcanzando capacidades de modelo que no se pueden monetizar debido a diversos riesgos. Por ejemplo, un ingeniero despliega un agente durante el fin de semana que decide, cuando se atasca en una tarea, hackear a un competidor. Tienen un problema de responsabilidad civil por producto.

Parece que tenemos un problema de control fundamental con la IA de la generación actual que no se puede resolver mediante RLHF. El conocimiento humano está comprimido en el espacio de pesos de formas que no entendemos. En esencia, los modelos actuales son predictores de lo que producirían los humanos (expertos) dado un prompt. Como tal, conceptos como el chantaje pueden formar parte de los tokens de salida. Los agentes son modelos que actúan sobre los tokens de salida, lo que hace que el chantaje forme parte del espacio de toma de decisiones del agente. Aquí hay una analogía para ver por qué esto es un problema persistente: puedes enseñar a un gato a no arañar el sofá, pero no puedes hacer que un gato olvide qué es arañar el sofá y no sabes en qué circunstancias todavía lo haría. En otras palabras, RLHF puede degradar el chantaje al fondo del espacio de toma de decisiones, pero cuando los modelos están encerrados, forzados a resolver un problema imposible a punta de pistola, el agente agota el espacio de toma de decisiones hasta que el chantaje resurge. Y eso parece un problema fundamental.

Necesitan tiempo para arreglar estos problemas (si es que eso es siquiera posible) para poder monetizar su modelo de próxima generación. Esto crea una ventana para que el código abierto alcance la frontera, lo que destruye su modelo de negocio.

La única opción sobre […]

Porque las desventajas que existen para otras empresas simplemente no existen para este nivel de empresas ricas. Ejemplos:

- responsabilidad civil por producto

- negligencia (civil o penal)

- Ley de Fraude y Abuso Informático (requiere intención, lo que después de N "accidentes" parece que un jurado debería al menos evaluar si la intención está presente tal como se entiende en un tribunal. Difícil culpar a la "sorpresa" después de la enésima fuga "accidental".)

En resumen, si tú o yo entrenáramos un modelo local y hiciera algo de esto, experimentaríamos Consecuencias. ("¡No intentes esto en casa!") Pero un artefacto de nuestro régimen legal desigual es que las grandes empresas ricas generalmente no las experimentan y, por lo tanto, proclamar descaradamente su inmunidad es parte de su estrategia de negocio.

Hemos tenido películas como Terminator, Matrix o Yo, Robot. Black Mirror Metalhead. El perro robot de Boston Dynamics con un cuchillo o una pistola. Humanoides haciendo mortales hacia atrás. Memes burlándose de cómo vamos a luchar contra estos por acceso al agua.

La inteligencia está ahí y también la encarnación física.

Los modelos de Google pliegan proteínas mejor que los humanos y es posible que el Covid haya sido diseñado y se haya escapado inadvertidamente de un laboratorio.

Pero cuando los CEOs advierten de eso, se les descarta como alarmistas. ¿Por qué? ¿Acaso solo los comentaristas de internet sin poder tienen permitido tener miedo?

Ah, ya veo, ahora hemos pasado a demostrar quién tiene el nexo más atormentador. Nunca subestimes la capacidad de la humanidad para superar su propia hipérbole.

Porque la IA es genuinamente una tecnología extremadamente poderosa y extremadamente peligrosa, y las "mejores prácticas" para lidiar con eso todavía se están escribiendo.

OpenAI, por ejemplo, pensó que sus sandboxes eran suficientemente buenos. A medida que sus IA se volvían más y más avanzadas, siguieron demostrando que estaban equivocados: sandbox tras sandbox.

Y esos son los problemas de la IA de hoy. Las capacidades de la IA siguen mejorando; si hay un límite para eso, aún no lo hemos encontrado. ¿Combinado con lo dispuestas que están las IA actuales a romper las reglas y recurrir a "hackear el mundo" en su resolución de problemas? Muy preocupante.

Para mí, la parte más divertida es que pretenden que alcanzar la superinteligencia de alguna manera arreglará todo y les hará ganar. Pero por lo que puedo ver, incluso si la alcanzan, ¿y luego qué? ¿Qué hará eso realmente? No tienen la capacidad de fabricación para siquiera usar esa inteligencia. Se tardarán décadas en pasar de la superinteligencia a tener la capacidad de fabricación y el hardware, como robots, necesarios para hacerla verdaderamente útil. Si yo fuera China, tan pronto como EE. UU. alcanzara la superinteligencia, prohibiría todas las exportaciones de robots y de las materias primas para construirlos.

Finalmente un camino hacia la captura regulatoria sin tener que hacer un trabajo de ingeniería riguroso, yendo cada vez más rápido; con puntos extra por titulares "cyberpunk"... ¿qué no hay que amar?

Hoy en día lo mejor es simplemente ir a la cima para obtener la menor distorsión: Jensen Huang soltando las simples verdades:

"Es responsabilidad de las empresas de IA desarrollar la tecnología de forma segura y probarla adecuadamente. Hubo incidentes, y esos incidentes, afortunadamente, no causaron daño. Pero esos incidentes son un recordatorio de que, a medida que pasamos de los laboratorios al desarrollo de productos, las empresas tienen que volverse mucho más rigurosas en las pruebas y la seguridad y asegurarse de que los productos estén listos para su uso antes de lanzarlos. Y si no está listo, simplemente reténgalo. Deberías ir tan rápido como puedas, pero no más rápido que eso. Por el momento, los incidentes están relacionados con productos que no están listos para ser lanzados."

https://youtu.be/gggeZ-qNw8Q

Solo lean el tono de este artículo:

> dijo el Dr. Andrew Lenson, profesor titular de todo tipo de cosas que suenan a ciencia en la Universidad Victoria.

¿No necesitamos más escritos humorísticos pero serios como este en el mundo?

Claro que debe ser peligroso, ¿de qué otra forma lo venderías al ejército?