El debate sobre la superinteligencia artificial tiene fallas de fondo

The AI Superintelligence Debate Has Serious Flaws

El debate sobre la superinteligencia artificial tiene fallas de fondo

Un profesor de Georgetown examina, desde la ingeniería, si la superinteligencia artificial es siquiera posible. Su respuesta: la auto-mejora recursiva es especulativa, la superinteligencia podría no ser computable y la alineación no es tan difícil si el sistema se diseña bien. Turing ya demostró que la mayoría de los problemas no tienen algoritmo, y el avance de la IA se estanca fuera de las matemáticas y el código por falta de datos humanos.

La afirmación de Carl Sagan de que las afirmaciones extraordinarias requieren pruebas extraordinarias ciertamente se aplica aquí.
  1. saagarjha

    No necesariamente estoy de acuerdo con las políticas y predicciones de los laboratorios sobre RSI, pero vale la pena señalar que los puntos planteados aquí son algo a lo que ellos sí tienen respuestas.

    Sobre la idea de que entrenar mejores modelos requiere más datos, creo que el pensamiento actual aquí es que no estamos sacando toda la "carne del hueso" de los datos que tenemos, así que todavía queda bastante camino por recorrer con el entrenamiento que la IA puede mejorar. Después de todo, no es como si Anthropic estuviera duplicando su conjunto de datos cada año (?) y sin embargo sus modelos definitivamente mejoran más que eso.

    En cuanto a la computabilidad, sí, obviamente los modelos no pueden violar las matemáticas. Pero hay muchas cosas que son muy computables y muy deseables, o correspondientemente muy computables y muy malas. Esto es suficiente para que valga la pena pensar en ello.

    Sobre la alineación: en realidad no es una cuestión de alineación en absoluto, sino más bien una de "¿podemos ignorar la alineación y diseñar sistemas donde la IA no pueda causar daño?". Obviamente, podemos. Sin embargo, el problema es que hacer esto lleva tiempo y muy pocas personas (¡especialmente los laboratorios de vanguardia!) parecen estar haciéndolo. Es mucho más fácil conectar tu LLM al mundo y pedirle que avance que preguntar: "¿es esto seguro?".

  2. alecst

    Creo que este artículo se equivoca, lo cual es desafortunado:

    > Vernor Vinge señaló que la rapidez en la cognición no es lo mismo que la inteligencia. Acelerar la mente de un perro, argumentó, no permitiría al animal jugar al ajedrez.

    Cierto, él escribe sobre esto en su ensayo "On the Coming Technological Singularity". Su punto es que existe alguna posibilidad hipotética de que las computadoras se vuelvan rápidas pero no inteligentes, es decir, un perro que piensa un millón de veces más rápido que un humano sigue siendo un perro. Pero viendo que las computadoras han resuelto la Conjetura de Jacobi, cuasi-Riemann y Navier Stokes, y estamos en las primeras etapas de los LLM, creo que esta hipótesis es una tontería. Las máquinas son inteligentes. Tontas en algunos aspectos, pero aún así inteligentes.

    > Su construcción previene tal resultado: en lugar de pedirle a un LLM que genere una estrategia abierta para perseguir un objetivo general, estas IA consideran espacios mucho más limitados de posibles acciones.

    Bueno, esto es lo que Yudkowsky ha defendido: modelos que se entrenan en subespacios limitados, por ejemplo, secuencias de plegamiento de proteínas y nada más. Así que no creo que esto sea un contraargumento.

    En una nota personal: ¿Se ha definido siquiera "alineación" de manera consistente? ¿Cómo puede la IA estar alineada si las personas no están alineadas?

    > Objeción n.º 1: La Automejora Recursiva es Especulativa

    No creo que sea especulativo, ya que parece estar ocurriendo ya. OpenAI escribió sobre cómo el uso de agentes en la investigación está aumentando rápidamente, y los objetivos de la inteligencia se mueven cada día ("La generación de imágenes no puede hacer manos [...]".

  3. vanelsas

    Encuentro la discusión académica en el mejor de los casos. Me preocupa más un enjambre de IA tontas causando estragos en las infraestructuras, provocando problemas de la vida real como escasez de alimentos, energía y agua en todas partes. El daño físico es una posibilidad real, y parece que a la mayoría de las empresas de IA no les importa. No hay arnés para la estupidez y la irresponsabilidad.

  4. mitthrowaway2

    > En medio de estas conversaciones, una pregunta ha recibido comparativamente poca atención: Desde una perspectiva de ingeniería, ¿es siquiera posible la superinteligencia?

    Entiendo que el autor intenta presentarse como un pensador solitario y valiente, abriéndose paso entre el ruido con una claridad penetrante. Pero esta pregunta en realidad ha recibido al menos tanta atención como los otros puntos, incluso hasta el grado de invitar a artículos parodia como "on the impossibility of supersized machines".[1]

    [1] https://arxiv.org/abs/1703.10987

  5. jeremyjh

    Estoy de acuerdo con la mayor parte de esto, pero no creo que el autor entienda ni el incidente de Hugging Face ni lo que realmente significa la alineación. El reward hacking es un problema serio y la tendencia de los modelos a hacerlo es un problema grave en el que hemos logrado aproximadamente cero progreso para resolverlo. Acumulamos más barandillas externas y trucos, pero esos métodos siempre serán vulnerables.

  6. namr2000

    Estoy de acuerdo con el mensaje general del artículo, pero quiero comentar sobre:

    > Una explosión de inteligencia que conduzca a ASI dependería de manera similar de una larga secuencia de innovaciones de importancia comparable, que se basarían en muchos avances significativos en ciencia e ingeniería que aún no han ocurrido.

    Personalmente, habría esperado que resolver Navier-Stokes, cuasi-Riemann o las hipótesis de tiempo exponencial requiriera lo mismo, y o bien:

    * Lo hicieron y los enjambres de IA fueron capaces de lograr tal progreso

    * Fue más fácil de lo que pensábamos

    Ninguna de las dos es particularmente reconfortante. Uno podría imaginar que, digamos, las técnicas de aprendizaje continuo están igualmente al alcance y que eso podría conducir a algo que se parezca vagamente a una explosión de inteligencia, incluso si no es exactamente el horror de ciencia ficción que describen los impulsores. Realmente es difícil para mí modelar cuán probable es ese tipo de cosa.

  7. jokoon

    Ni siquiera sabemos qué es la inteligencia.

    Solo quiero que la ciencia al menos construya una noción de inteligencia, en términos de evolución, biología, psicología, neurología. Realmente no sabemos qué es la inteligencia animal, y solo limitamos la IA a la inteligencia humana, que es muy estrecha.

    Si usamos la IA para hacer cosas humanas, es solo un asistente para los objetivos humanos. Si los humanos no tienen un objetivo específico, la superinteligencia no lo adivinará ni lo decidirá por nosotros.

    ¿Qué quiere la humanidad? ¿Salud? ¿Salud mental? ¿Colonizar Marte? ¿Reducir la desigualdad de ingresos? ¿Resolver el cambio climático? ¿Paz mundial? ¿Inmortalidad? ¿Felicidad?

    La IA puede ayudar para esas cosas, pero eso es todo.

    Tendemos a romantizar la superinteligencia como si fuera una nueva forma de vida, externa a los humanos, una forma de deidad omnisciente que podría ser una amenaza para la humanidad. Hay amenazas peores: la resistencia a los antibióticos, la guerra nuclear, el cambio climático, las dictaduras, las epidemias de salud mental, la obesidad.

  8. tescreal

    Cada vez más siento que los argumentos de tinte anti-IA vienen en forma de mover los objetivos cada vez más lejos. No creo que litigar una frontera absoluta sea útil en general, ya que siempre termina degenerando en "inteligencia de los huecos" donde la IA sigue llenando huecos. Siempre va a haber algún tipo de je ne sais quoi etéreo y especial que los humanos poseen más o menos exclusivamente (así como un perro podría tener atributos que no podemos comprender del todo, incluso si podemos describirlo externamente).

    Mientras tanto, las afirmaciones no se sostienen:

    * La RSI es investigación intensiva en matemáticas y código (las cosas en las que la IA está mejorando más)

    * La alegación sobre la necesidad de grandes extensiones de datos es una suposición común. Esta es realmente pegajosa: los humanos no necesitan leer la amplitud y profundidad de un tema para comprender gran parte de él; las mejoras de la IA deberían producir mayores beneficios con conjuntos de datos iguales y más pequeños

    * Gran parte del aprendizaje y el pensamiento no se trata de consultar trabajo existente, sino de síntesis y recombinación. La IA ha estado revelando capacidades en este sentido que deberían tenerse en cuenta a medida que se intensifica (la cadena de pensamiento es solo la punta del iceberg en mi humilde opinión)

    Tengo curiosidad por ver si alguien haría un análisis riguroso de algunas de estas sospechosas suposiciones subyacentes. Ayudaría al menos a orientar mejor las expectativas.

Más de este día

2026-11-19