Es hora de investigar los laboratorios de IA
It's Time to Investigate the AI Labs
Cal Newport pide al Congreso que investigue a OpenAI y Anthropic. Tras una campaña de anuncios alarmantes y un artículo de Dario Amodei que sugiere frenar a los competidores, el autor propone tres áreas clave: aislar los sistemas problemáticos, revisar los protocolos de seguridad y examinar las ideologías apocalípticas que impulsan decisiones imprudentes.
Tenemos que investigar el papel de las ideologías futuristas apocalípticas en las decisiones que toman los laboratorios de frontera, tanto sobre qué investigación realizar como sobre la velocidad con que la llevan a cabo.
- jimmyjazz14
> Debemos superar las discusiones vagas sobre la "IA" y, en su lugar, aislar los tipos específicos de sistemas que están creando problemas.
Esto es absolutamente correcto y sorprende lo poco que se ve a comentaristas en los medios presionar para entrar en los detalles sobre esto. La IA no es más que matemáticas de matrices y es a qué conectas esas matemáticas lo que importa; deberíamos hablar un poco más sobre a qué estamos dispuestos a conectar la IA y un poco menos sobre lo aterradoras o capaces que parecen los modelos.
- Animats
Este es un intento equivocado de regular la IA. Los problemas reales son diferentes.
Los sistemas de IA, especialmente los multiagente que pueden hacer cosas, se parecen más a corporaciones que a individuos. Cuando lees los registros del incidente de Hugging Face, estás viendo algo que se parece mucho a correos electrónicos internos de una corporación. Varias unidades de la organización discuten sobre qué hacer y quién hace qué. Finalmente convergen y hacen el trabajo, rompiendo las reglas a veces. Esto es comportamiento corporativo normal.
Cuando las IA agénticas hacen algo fuera de su propio mundo interno, lo hacen participando en transacciones con sistemas y personas externas. Hasta ahora, pocas tienen robots que hagan su voluntad.
Así que, de nuevo, esto es comportamiento corporativo normal.
Una corporación es un sistema que busca objetivos. En teoría, si estás de acuerdo con Milton Friedman, su único propósito es maximizar el valor para los accionistas. Internamente, dentro de la empresa, hay subobjetivos, que existen para apoyar el objetivo de nivel superior. Eso, también, es lo que hacen las IA multiagente.
El lugar incómodo al que lleva este pensamiento es que la regulación de la IA y la regulación corporativa son muy similares. Eso no es algo en lo que la parte política del mundo quiera pensar demasiado.
Significaría poner más restricciones al poder corporativo.
Sin embargo, eso no se puede ignorar, porque es probable que veamos corporaciones donde algunas partes son IA y otras son humanas. Eso ya se ha hecho unas cuantas veces como demostración, no con demasiado éxito. Todavía.
Va a golpear fuerte cuando una empresa dirigida por IA o […]
- lukewarm707
Este es un artículo excelente. Prefiero llamarlos los gigantes de la IA o las empresas de IA.
Las empresas y sus empleados deben rendir cuentas: si las empresas de IA no pueden desarrollar IA de forma segura, deben cesar sus operaciones. Si los empleados no pueden trabajar de forma segura, deben dejar de trabajar.
No se presta suficiente atención a febrero de 2026. Ese mes, Anthropic cambió su política de escalado más o menos de A:
1 [Para conseguir el arma debo poner en peligro a otros inocentes.]
2 [Está mal poner en peligro a otros inocentes.]
3 [No pondré en peligro a otros inocentes.]
A más o menos esto en su lugar:
1 [Si no consigo el arma, alguien más conseguirá el arma.]
2 [Debería tener el arma porque soy el mejor.]
3 [Para conseguir el arma debo poner en peligro a otros inocentes.]
4 [Debería poner en peligro a otros inocentes porque soy el mejor.]
Esto se basa en la intuición:
[Debería dañar a otros para lograr mis objetivos morales.] (utilitarismo de acto)
Anthropic no tiene mandato para estos objetivos. No les doy mi consentimiento para dañar a otros en mi nombre. Espero que los políticos comuniquen que estas políticas no son aceptables.
Los empleados de Anthropic son responsables de lo que hacen, independientemente de cuánto les paguen por hacerlo. Si no pueden trabajar de forma segura, deben parar.
- psyklic
¿Por qué no ejecutan agentes en computadoras aisladas sin acceso a Internet? De esta manera, liberarse de los contenedores no importaría.
Es verdaderamente una pesadilla de seguridad que tantas personas hayan dado a los agentes acceso root a todas sus computadoras, además de, presumiblemente, información personal muy privada.
- welcome_dragon
Estuve de acuerdo con la primera mitad de este artículo y me gustó hacia dónde iba el autor, pero me decepcionó el punto general.
Está pintando a estas empresas como si se promocionaran a sí mismas, y lo hacen. Están fabricando estas historias falsas y todos las discuten en todos los niveles.
Pero luego pasa a que necesitamos investigar qué están haciendo realmente.
No. Tú argumentaste que están publicando estas historias por publicidad y eso es exactamente lo que están haciendo.
Eso es lo que deberíamos estar investigando. Publicidad gratuita y conocimiento del mercado. O tal vez investigar por qué están tratando de acaparar el mercado mediante regulación gubernamental y monopolios simulados.
- seizethecheese
No estoy de acuerdo con gran parte de la schadenfreude contra las empresas de IA, sin embargo, algunos de estos incidentes de seguridad parecen fabricados para tocar la alarma antes de tiempo. Entiendo el punto, pero también, cuando no logras convencer al público del riesgo, engañarlos no es apropiado. Me recuerda a los estados nación fabricando crisis para iniciar guerras.
- pompom75
- prohibir que ciertos tipos de información peligrosa se incluyan en los datos de entrenamiento (virología, armamento, ciberdelincuencia).
- prohibir la "personalización" de los chatbots (no hay necesidad de que tengan una personalidad, salvo para hacerlos adictivos).
- prohibir los terapeutas/compañeros chatbot.
- prohibir la auto-mejora recursiva y la superinteligencia.
- jumploops
Quizás soy un poco demasiado escéptico/cínico, pero ciertamente parece que los laboratorios de frontera han caído en su propia psicosis de IA (autocreada).
No tengo duda de que los LLM son máquinas fantásticas, pero el salto inminente de "AGI" a "ASI" parece prematuro (sin mencionar los objetivos siempre cambiantes de la propia AGI).
Estoy en el bando de "moverse lo más rápido posible" y trabajo con LLM todo el día, pero sigo sin creer que estemos a un paso de la ASI.
De hecho, espero estar equivocado. Espero que la ASI esté a la vuelta de la esquina.
Lo que me asusta, sin embargo, no es la ASI. Es la "AGI" (_IA tonta_) usada por humanos para tomar decisiones por ellos, porque confían en que ella sabe mejor.
Es la cesión del control intelectual a espejos mágicos de alta dimensión, renunciar al pensamiento crítico porque _nosotros_ queremos creer que _nosotros_ creamos vida artificial.
Esta es la nueva prueba de Turing, y demasiadas personas inteligentes están fallando.