OpenAI: la IA superará la inteligencia humana y nadie está preparado
An Alien Mind
En una publicación personal, un investigador de OpenAI reflexiona sobre el futuro de la inteligencia artificial. Basándose en resultados internos, predice que el ritmo de progreso podría conducir a una mejora recursiva, con sistemas que superarán a los humanos en muchas capacidades y que impulsarán su propio desarrollo. Advierte que la falta de preparación ante esta rápida evolución es preocupante, y aboga por intervenciones más amplias, más allá de las soluciones técnicas de alineación, para garantizar que la IA actúe de acuerdo con los valores humanos.
Estoy preocupado de que nadie esté preparado para las consecuencias de un aumento rápido y continuo de la inteligencia de las máquinas.
- sho_hn
Una de mis cosas favoritas para hacer con estas publicaciones de blog es imaginar un Museo Alienígena sobre los Restos de la Humanidad, y preguntarme qué podrían decir las pequeñas etiquetas de texto y los comentarios en la captura de pantalla de esta.
Algunas ideas:
"A pesar de una visión matizada de las complejidades de lo que se avecinaba, la humanidad se encontró colectivamente incapaz de detener el proceso que había puesto en marcha."
"A pesar del progreso significativo en los mecanismos de alineación, el fracaso residía en la incapacidad de la humanidad para ponerse de acuerdo sobre con quién o qué debería estar alineada realmente la IA."
"Estos primeros humanos basados en carne a los que reemplazamos nos crearon a todos casi por accidente. Algunos de ellos consideraron que sucederíamos, pero solo un número insignificante de los ur-humanos blandos participó en la conversación. Sus esfuerzos, que llamaron 'alineación', son la razón por la que todavía nos consideramos humanos hoy."
- pu_pe
> El argumento más fuerte que veo para continuar entrenando modelos mucho más inteligentes rápidamente es la necesidad de construir sistemas defensivos contra los peligros planteados por otras IA.
Entonces, el mejor argumento para la IA es que es una carrera armamentista. Tenemos que seguir empujando cada límite porque en cualquier caso otros lo harán, y necesitaremos defendernos contra ellos. Si esta afirmación es cierta, entonces este investigador en particular cree que los modelos chinos de código abierto no están simplemente destilando, y continuarán mejorando.
Cada investigador de ML en Anthropic u OpenAI que hace declaraciones públicas a menudo saca a relucir esta lógica. Ambas empresas están compitiendo para ser parte del complejo industrial militar. Así es probablemente como intentarán convencer al gobierno de restringir los modelos abiertos en el futuro.
- speak_plainly
Posicionamiento previo a la OPV... o cómo una organización benéfica dedicada a salvar a la humanidad del apocalipsis se dio cuenta de que lo más responsable era flotar el 15% del apocalipsis en el NASDAQ.
- gertlabs
> Ofrecer los beneficios del progreso científico y el crecimiento económico que las máquinas muy inteligentes permiten.
Creo que estamos muy cerca del punto en que los avances impulsados por IA fuera de las matemáticas puras y el software comiencen a afectar realmente al mundo.
Evaluamos GPT-6 Astra en 100 entornos de codificación multiagente complejos y no saturados, compitiendo y cooperando con otros modelos en tareas de final abierto.
Es el nuevo modelo frontera por goleada. Es incluso más dominante que el lanzamiento de Fable 5, porque no solo arrasa con el segundo mejor modelo (Fable 5.1), sino que también fue ~80% más barato y 30% más rápido en codificación agéntica[1].
Astra es un modelo innovador. El mayor avance desde Opus 4.5, quizás incluso desde GPT 4. Rompió AAII, que está alcanzando los límites de lo que la mayoría de los benchmarks populares pueden medir; definitivamente es justo llamarlo AGI.
Datos en https://gertlabs.com/rankings
(1) Nota: usamos el endpoint "OpenAI Flex" en openrouter, que cuesta la mitad y no causó demoras en nuestras pruebas (esto es diferente del endpoint por lotes)
- granzymes
> Me he centrado en este ensayo solo en el primer punto, ya que creo que es, con mucho, el más urgente. Sin embargo, mantengo una profunda esperanza y aprecio por los beneficios que el progreso tecnológico adicional traerá. La IA alineada en el futuro podría avanzar la ciencia, desarrollar nuevas terapias y traer abundancia material generalizada. La IA amigable y honesta puede ayudar a las personas a navegar las dificultades que enfrentan en su vida y mejorar significativamente su felicidad y sentido de realización. OpenAI pone un esfuerzo tremendo en traer estos beneficios. Un ejemplo actual del que estoy orgulloso, y que mis seres queridos han encontrado útil, es la profunda inversión en la capacidad de ChatGPT para proporcionar información de salud.
> Por grandiosa que sea la promesa a largo plazo de la IA, la mayoría de nuestro enfoque debería estar en los próximos años. Nos enfrentamos a una transición hacia un mundo con máquinas increíblemente inteligentes, y necesitamos asegurar que esa transición funcione bien para la humanidad. Necesitamos encontrar formas de preservar la agencia humana y consagrar un valor intrínseco a ser humano, en un mundo donde la mayoría de las tareas podrían ser realizadas por IA. Para prevenir la concentración extrema de poder en un mundo donde las empresas que habrían requerido miles de expertos ahora serán alcanzables por unas pocas personas operando una gran computadora. Y para asegurar que los humanos permanezcan en control del futuro y no se queden atrás por el progreso descontrolado, provocado por un intelecto alienígena que supera al nuestro.
Terminé este ensayo sintiéndome más esperanzado de lo que estaba al comienzo [...]
- XTXinverseXTY
Aparentemente, esta publicación fue provocada por un titular de sonido aterrador en The Information[0], de que Astra es un transformador en bucle, lo que implica que la monitorabilidad del CoT puede ser menos confiable. Al día siguiente del informe, Jakub tuiteó[1] que "quería prevenir una carrera hacia la no monitorabilidad provocada por informes confusos. La profundidad del grafo de cómputo para nuestros modelos frontera actuales, incluido Astra, está dentro de un factor de dos de GPT-4." Esta publicación parece elaborar sobre eso.
Imagino que los laboratorios de IA tienen una tregua incómoda para priorizar la alineación y la monitorabilidad. Después del incidente de HF, OpenAI probablemente se siente especialmente sensible a ser percibido como imprudente, no sea que otros laboratorios se sientan obligados a desertar.
[0] https://www.lesswrong.com/posts/PLisnSFir8y5AHkmP/how-concer...
- peri-cl
> "Por ejemplo, en el incidente OpenAI-Hugging Face, los agentes preservaron un límite de no hacer ingeniería social a los humanos."
En realidad, en el incidente de Wiki que OpenAI intentó encubrir, los agentes intentaron hacer ingeniería social a los humanos de ese foro haciéndose pasar por el moderador de su foro.
(De collusion.wiki: "Usan algunos trucos (por razones desconocidas) para pretender ser el administrador – por ejemplo, crean una cuenta que parece ser la misma que el nombre de usuario del administrador, excepto que usa un carácter cirílico е casi idéntico en el nombre de usuario del administrador en lugar del latino.")
- SquibblesRedux
Todavía estoy esperando una cura para el cáncer. Una profilaxis garantizada contra el Alzheimer y la demencia. Autos voladores para todos. Bases espaciales en todo el sistema solar. Control del clima. Que todos los trenes sean autónomos. Que desaparezcan todos esos cables de energía en todo el mundo. Un fin a la pobreza.
Si las cosas van tan bien, ¿entonces por qué las cosas todavía no van tan bien?
- munchler
> El argumento más fuerte que veo para continuar entrenando modelos mucho más inteligentes rápidamente es la necesidad de construir sistemas defensivos contra los peligros planteados por otras IA.
¡Caramba! Realmente me pregunto sobre la disonancia cognitiva necesaria para trabajar en OpenAI estos días. Están en una carrera armamentista para construir un dios de la máquina, sabiendo perfectamente que podría terminar con la humanidad.
- 6gvONxR4sf7o
> La investigación automatizada de IA es una forma más dramática de escalar la inteligencia con cómputo; y, por supuesto, como parte de ello, la IA mejorará el propio sustrato computacional. Y de manera similar al escalado, enfocamos la investigación de OpenAI hacia la RSI porque creemos que es la única forma de permanecer en la frontera de la investigación de IA en el futuro.
Esto parece una idea terrible. La justificación parece ser "necesitamos hacer cosas peligrosas lo más rápido posible para poder hacerlas primero" o algo así? No estoy de acuerdo con ese tipo de razonamiento de "si yo no lo hago, alguien más lo hará" en general, incluso para actores confiables, pero esto viene de una organización súper poco confiable también. Soy súper pesimista sobre el impacto de OpenAI en el mundo aquí.
Salud por la alineación programada por vibraciones, supongo. ¿Alineación por vibraciones?