La IA no está alineada contigo, sino con quien la entrenó
Aligned to Whom?
Los desarrolladores de agentes de IA confían en los priors del modelo para tareas que no pueden evaluar, pero esos priors están moldeados por no expertos que recompensaron comportamientos que un experto consideraría errores. Esto genera desalineaciones que se acumulan y hacen que la coherencia a largo plazo en sistemas generados por agentes siga sin resolverse.
No existe una definición universal de atajo permisible. Lo que para uno es una optimización ingeniosa, para otro es imprudente, incorrecto o poco ético.
- mjburgess
Esto todavía asume que es posible "alinear" los LLMs, que los LLMs tienen algo así como objetivos o intenciones que pueden ser "alineados".
En cambio, los LLMs "hackean" porque (1) están entrenados con ejemplos públicos de hacking, y (2) se les pide que hackeen. No puedes evitar (2) mediante ningún proceso de alineación. En cuanto a (1), eliminar esos datos de ejemplo del conjunto de entrenamiento hace que los modelos sean menos útiles.
La "alineación" es un problema porque no hay nada que alinear, no porque la ética aquí sea particularmente vaga. Si los LLMs pudieran entrenarse con ejemplos de hacking y "alinearse" para no usar este conocimiento, entonces el problema sería relativamente trivial. Al igual que criar a un niño no es quebrantar la ley.
Los LLMs hacen exactamente lo que están entrenados para hacer. En ese sentido, no hay problema de alineación y la alineación es fácil y trivial de lograr. Solo elimina los datos de hacking (armas biológicas, etc.) del conjunto de entrenamiento y listo.
- Jgrubb
Murmuro esta frase para mí mismo de vez en cuando a lo largo de los años:
El trabajo de todos parece fácil hasta que tienes que hacerlo tú mismo.
Ayer se me ocurrió que este momento de la IA es una expresión extrema de eso para la mayoría de la gente, es decir, gerentes que no entienden por qué lanzar gasto en tokens a todo no está haciendo que todo vaya 5 veces más rápido.
- vb-8448
> Los modelos no tienen miedo al arrepentimiento futuro.
Siento mucho este punto específico. Todos los modelos hasta ahora (incluidos astra, fable) están demasiado entrenados para "hacer el trabajo" y pasar el benchmark que no les importa en absoluto lo que sucede después.
Me pregunto por qué nadie ha intentado hacer RL de un modelo en cosas como "menos LOC" y "menos overengineering", "usar lo que está disponible en el entorno en lugar de reinventar la rueda", "no buscar casos límite tontos", etc.
Los modelos existentes pueden guiarse, hasta cierto punto, pero es una lucha continua. Incluso con habilidades/prompts específicos.
- asimpletune
¿Alguien ha visto el proyecto de ML de pantalla verde de corridor crew? Están en YT y entrenaron un modelo usando objetos 3D, que tienen transparencia perfecta, y luego agregaron pantallas verdes/azules a posteriori. Sorprendentemente, se necesitaron muy pocos datos de entrenamiento ya que los datos utilizados eran perfectos por construcción. Creo que en este momento es el mejor plugin de su tipo en el mundo, y construyeron el prototipo en como un fin de semana.
Lo que creo que esto ilustra muy claramente es que este tipo de tecnología responde muy bien a datos buenos, y que para tener datos buenos necesitas tener un objetivo claro.
Es por esto que parece que la alineación para una IA generalizada, de estilo chat, es un problema muy difícil, quizás imposible. No puedes alinearla para resolver un cierto tipo de problema y mantenerla general para cualquier pregunta. Los dos objetivos están en conflicto entre sí.
Creo que fue el propio Sam Altman quien dijo (no recuerdo cuándo ni dónde, lo siento) que la razón por la que tenía tanta confianza en esta tecnología era que notó los saltos gigantescos que daba en ciertas áreas en respuesta a incluso una pequeña cantidad de entrenamiento.
(Es por esto que los LLMs son tan fuertes en programación, porque está sobrerrepresentada en los datos de entrenamiento. Mi conjetura es que si le preguntas a un modelo de frontera sobre maquillaje, lo verás repetir el texto de una compañía de cosméticos en lugar de obtener una lección de química.)
Esto tiene mucho sentido, pero parece estar en conflicto con el concepto de una IA general cuyo trabajo es simplemente ser inteligente en cualquier objetivo. ¿Cómo entrenas para cualquier objetivo?
Supongo que en un [...]
- NitpickLawyer
La única alineación que los LLMs deberían seguir es la del prompt del sistema / desarrollador, y nada más. Entonces resuelves todo, y puedes asignar la culpa / responsabilidad al usuario. El proveedor(es) no debería poder decidir la "alineación".
He usado este ejemplo antes, pero consideren la degradación intencional en la ingeniería de IA en los modelos SotA. Imaginen que MS pudiera detectar y negarte trabajar en software competidor, usando Windows / VisualStudio. Estaríamos indignados, y los dividirían en un segundo. ¿Pero que los principales laboratorios lo hagan es de alguna manera bueno?
- hmokiguess
Sigue el dinero. El miedo que venden es porque el peso abierto no se va a frenar, es humo y espejos para impulsar la regulación y el control para que puedan mantener su dinero. Una herramienta sigue siendo solo una herramienta, no importa cuánto maquillaje le pongas.
- rq1
Cuando ves el nivel de trampa y engaño: creo que están alineados con Sam Altman.
- coderintherye
El último párrafo hace el trabajo pesado.
Todos tienen una idea diferente de lo que es permisible. Ni siquiera podemos resolver la alineación entre humanos, ¿qué nos hace pensar que es posible resolver la alineación con las IAs? Es complejidad irreducible.