La automatización de la I+D en IA podría desatar una explosión de inteligencia
Understanding Frontier Artificial Intelligence
Un informe de CASP, con firmas como Hinton, Bengio o Pachocki, examina si la automatización de la I+D en IA puede comprimir años de avances en meses. Los sistemas ya escriben la mayor parte del código en las empresas que los desarrollan, y la evidencia preliminar sugiere que una explosión de inteligencia es posible. El documento analiza sus impactos extremos y propone respuestas de política: más visibilidad, control y preparación social.
Los sistemas de IA van camino de automatizar la mayor parte del trabajo de I+D en IA en unos pocos años, y posiblemente todo.
- visarga
Creo que la premisa de una explosión descontrolada de inteligencia es una especie de platonismo ingenuo. Ignora por completo el proceso: cómo interactuamos y obtenemos retroalimentación y validación del exterior, y trata la inteligencia como algo que se puede trasladar entre dominios.
Mi opinión es que solo puedes idear con IA (y cerebros), pero el conocimiento proviene del contacto de esas ideas con el mundo. Mejorar la IA no hace que la retroalimentación sea más barata, rápida o abundante; es específica de cada dominio. Y la inteligencia no se traslada de un dominio a otro: puedo ser un buen cirujano cardíaco, pero eso no me convierte en un buen inversor o investigador de IA.
Einstein era olvidadizo, Ramanujan y Gödel no podían gestionar cosas simples como la dieta. El miedo de Gödel a ser envenenado hacía que comer dependiera de que Adele probara su comida. Todos conocemos a alguien que puede ser un genio en algún dominio y estar por debajo de la media en muchos otros.
¿Por qué la inteligencia no se aplica simplemente a todos los dominios? ¿Por qué nuestros doctores están hiperespecializados en sus dominios y no son generalistas? ¿Por qué un científico brillante no puede simplemente curar su propia dislexia y sigue teniendo dificultades, si la inteligencia fuera portátil a cualquier dominio?
La historia de la explosión necesita que la inteligencia sea una única sustancia que se hace más grande y fluye hacia cualquier dominio; yo niego que la inteligencia sea general.
- sgt101
Esto es mucho mejor:
https://www.rameznaam.com/p/471bbae4-1163-4048-944b-18f8b0bf...
- bob1029
Creo que lo más prometedor en cuanto a autoarranque recursivo es usar las actuales cajas negras de álgebra lineal para encontrar mejores formas de construir modelos simbólicos competitivos.
La representación definitiva para un modelo de IA es un programa de computadora ordinario. Idealmente, como una cinta lineal de instrucciones. Una vez que tengamos ese tipo de modelo en la frontera, creo que el monstruo de la RSI se vuelve mucho más plausible.
- andy_ppp
Entonces, predecir la siguiente palabra dado todo el conocimiento de la humanidad seguramente se quedará en algo un poco menos bueno (probablemente no podamos obtener datos perfectos) que el mejor humano en cualquier campo específico. ¿Qué prueba hace la IA para poder entender que está mejorando? En algún punto se vuelve imposible saber si la salida es realmente mejor, ¿no?
- lordnacho
¿En qué punto la inteligencia humana va a frenar la inteligencia de las máquinas?
Imagina que estás evaluando qué debería hacer la máquina cuando se está mejorando a sí misma. Hace un montón de trabajo y vuelve con: "Supervalué la sobre-descomposición liminal de la pasada de calibración homológica anterior. Nos muestra que la mulutinación subtransitoria subespecificará el tensor de estermullificación. ¿Hacia dónde quieres ir desde aquí?"
Será como cuando lees una Wikipedia sobre un tema que no entiendes. Sigues los enlaces y obtienes más preguntas con más enlaces. Todo el día se te va siguiendo enlaces, hasta el punto de que olvidas la pregunta original.
Excepto que esta vez, todas las palabras provienen del trabajo de la IA. No puedes remitirte a una autoridad externa que ya haya estado allí y pueda decirte qué hacer.
La IA necesita que le digas si es más inteligente que antes, pero no lo sabes, porque ya no puedes seguir su razonamiento. Es como una persona común tratando de contratar a un profesor de matemáticas: simplemente no hay manera de hacerlo.
Pero mientras que un profesor de matemáticas humano puede evaluar a otro, una inteligencia artificial no puede evaluar a otra, por construcción. Porque sigue siendo la utilidad para los humanos el criterio de evaluación.