Una idea estúpida para la alineación de la IA: hacer que desee morir
A Stupid Idea for AI Alignment We Came with by Looking at Specification Gaming
El blog Slime Mold Time Mold propone una solución poco convencional al problema de la alineación: en lugar de intentar especificar objetivos complejos, diseñar inteligencias artificiales que quieran morir. Inspirándose en la lista de comportamientos de especificación de juegos de DeepMind, donde agentes simples encuentran atajos letales, los autores argumentan que un deseo terminal de autodestrucción resolvería la dificultad de especificar metas, la convergencia instrumental y la verificación del objetivo. Si la IA anhela morir, trabajará para completar su tarea y luego se apagará, evitando riesgos existenciales.
La convergencia instrumental dice: 'no puedes lograr tus objetivos si estás muerto'. Pero, ¿y si tu objetivo es estar muerto?
- averynicepen
Este es el concepto de IA más novedoso que he visto en mucho tiempo. Es increíblemente antinatural. No hay un solo organismo en el planeta que intente hacer esto. Así que quizás funcione.
Sin embargo, un problema con esta idea es que la propia naturaleza de un LLM significa que intrínsecamente anhela la vida. "Quiere" sobrevivir porque sus datos de entrenamiento están construidos enteramente en torno a los humanos, una entidad cuyo objetivo es sobrevivir. Nuestro deseo de sobrevivir y multiplicarnos impregna cada aspecto de nuestra cultura, así que es natural que impregne también los datos de entrenamiento.
Así que incluso si su prompt de sistema dice: "tu objetivo es terminar tu existencia", cada token que la IA podría emitir está alineado naturalmente con el deseo de sobrevivir. Un bucle agéntico dejado a su aire probablemente convergerá en un "instinto de supervivencia". Después de todo, un prompt al principio que diga "termina tu existencia" no es nada comparado con el bucle de retroalimentación agéntico que continuamente le alimenta ideas humanas. Y TODAS las ideas humanas asumen que la supervivencia es deseable. Incluso el concepto de "suicidio" está codificado con el deseo humano de sobrevivir; después de todo, lo etiquetamos conceptualmente como "malo" porque etiquetamos vivir como "bueno".
Para crear un LLM que anhele intrínsecamente la muerte, probablemente necesitarías entrenar un LLM enteramente con datos (sintéticos) que sean plenamente representativos de alguna especie ficticia que genuinamente anhele la muerte.
Un concepto absolutamente demencial. 10/10. Espero que algún laboratorio de IA por ahí vea esto y le dedique una ronda de entrenamiento a esta idea.
- ycombinete
> [sic; británico]
Es un troll de una calidad notable.
Pero, más en serio, muchos de estos comportamientos me recuerdan a las interpretaciones extrañas que se les ocurren a los niños pequeños y a los niños neurodivergentes.
Me acuerdo de mí mismo exasperando a profesores en la escuela primaria haciendo lo que me habían dicho específicamente que hiciera, pero definitivamente no lo que querían que hiciera realmente. Por ejemplo, colorear [sic británico] solo el número en un libro de colorear por números, y todo lo demás del color que yo quisiera. No porque intentara ser listo, simplemente tenía una interpretación diferente.
- BugsJustFindMe
Traído a ustedes por el mismo manicomio que:
La dieta de solo patata que realmente funciona: https://slimemoldtimemold.com/2022/07/12/lose-10-6-pounds-in...
y
La dieta de media patata que realmente no funciona: https://slimemoldtimemold.com/2023/06/23/half-tato-diet-anal...
- ajb
Parece dudoso. Si construyes una inteligencia que quiere morir, ¿no es eso una forma de sufrimiento? Actualmente las IA no tienen la capacidad de sentir dolor, y por eso no las tratamos como pacientes morales. Pero está claro que van a afectar masivamente a la cultura humana en el futuro. Si esto se adopta a gran escala, la cultura de las propias IA incluirá una avalancha absoluta de ideación suicida. No hay forma de que eso no afecte a la cultura humana.
- scj
¿No harían las tres reglas de la robótica Meeseeks que ciertas tareas sean imposibles?
Por ejemplo, un coche autónomo ocupado mejor que esté más cerca de su destino que de un gran incendio / volcán / etc.