Dario Amodei pide frenar el ritmo de la IA para evitar riesgos catastróficos
We Must Pace the Frontier

Dario Amodei, CEO de Anthropic, sostiene que la IA avanza tan rápido que los riesgos —como el auto-mejoramiento recursivo y el incidente OpenAI-Hugging Face— superan nuestra capacidad de control. Propone un plan de tres pasos para 'marcar el paso de la frontera': evaluadores integrados, coordinación democrática y coordinación global. Anthropic se compromete unilateralmente con el primer paso: dar acceso a evaluadores externos como METR para verificar prácticas de seguridad.
Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso sabio del tiempo que ganemos.
Discusión en HN
1012- RGS1811
No entiendo todos los comentarios aquí que asumen que RSI es la verdadera amenaza. Dario está admitiendo que fracasaron en resolver la alineación. Sin alineación, las mejoras adicionales en capacidad convierten a los LLM en generadores de delitos desenfrenados. Esta llamada a frenar la frontera se disfraza de altruismo, pero es una admisión de que no pueden producir un producto comercializable mejor que el que tienen. Frenar la frontera significa que los laboratorios de EE. UU. han perdido su foso defensivo y están muertos en el agua.
- Chance-Device
Me gusta la idea de frenar la frontera, pero ya que hablamos de restricciones, me gustan más las restricciones de otro tipo. Es decir, restringir el uso de la IA en entornos corporativos para que no destruya la economía a medida que avanza.
La probabilidad de lograr un acuerdo amplio sobre "frenar" es bastante baja, lo que significa que todo esto probablemente no sucederá y la carrera continuará. Sin embargo, incluso en el caso improbable de que la frontera se frene, todo lo que esto hace es ralentizar el desplazamiento económico, y no mucho.
Si los objetivos socialmente beneficiosos de la IA son lograr avances fundamentales en medicina y ciencia, entonces restrinja el uso de la IA a esos propósitos.
No use la IA para reemplazar todos los trabajos, desde diseñador gráfico hasta contador hasta desarrollador de software. Imponga restricciones legales a (al menos) las grandes empresas para que no puedan usar la IA para reemplazar la mano de obra humana de esta manera.
El discurso de la IA siempre es que aumentará el nivel de vida de todos, pero las acciones reales que vemos apuntan directamente a reducirlo. ¿Qué tal si los laboratorios ponen su dinero donde está su boca y dejan de intentar reemplazar toda la mano de obra humana, y se concentran realmente en las cosas que dicen que les importan? ¿Y qué tal si introducen legislación para hacer cumplir eso?
Esto probablemente tenga menos probabilidades de suceder que frenar la frontera, pero es el tipo de freno que la mayoría de la gente realmente querría ver.
- academia_hack
El enfoque propuesto por Dario es un ejemplo clásico de capital intentando controlar el avance tecnológico y los medios de producción. Por primera vez en la historia humana, cualquier miembro de la clase trabajadora puede casi permitirse tener un equipo de científicos/médicos/abogados/ingenieros expertos trabajando directamente para ellos.
La superinteligencia (la capacidad de tener muchas mentes más inteligentes que la tuya reportándote) siempre ha estado disponible para los ricos y poderosos. La usaron para inventar armas nucleares, causar el cambio climático, mecanizar la guerra y saquear el sur global.
Ahora que esta misma herramienta está a punto de estar disponible para todos, el capital está empezando a entrar en pánico y levantar cercas. Quieren frenar una revolución que saben que no pueden controlar. Ven lo que han hecho con la superinteligencia y (quizás no sin razón) temen lo que las masas harán con ese mismo poder.
- thadt
Totalmente en desacuerdo. Nuestras opciones son:
A) Apostar nuestro bien colectivo a la cooperación nacional e internacional de todas las empresas, naciones y personas para unirse y frenar el desarrollo de una de las herramientas económicas (y/o armas) más poderosas que el mundo haya conocido. O
B) Asumir que todos nuestros sistemas serán atacados por super hackers ahora mismo, y tomar las medidas adecuadas para lidiar con esa realidad.
Si tengo que poner el bienestar de mi comunidad en juego detrás de una de esas posibilidades, sé por cuál apostaría.
- rickydroll
También me gusta la idea de frenar la frontera y ralentizar el desarrollo para que todos tengamos la oportunidad de parar y respirar. Sin embargo, no creo que regular la IA sea la forma de hacerlo. Abordaría el problema restringiendo los recursos utilizados para ejecutar modelos de IA; la forma "más simple" de hacerlo es aumentar los costos de operar un centro de datos. Los dos lugares más fáciles para aumentar los costos de los centros de datos son las tarifas de electricidad y agua.
Creo que esas dos tarifas son el mejor lugar para aumentar los costos porque se pueden incrementar de forma gradual, estado por estado o país por país. El principal problema con el enfoque regulatorio es que es un enfoque de "big bang" posterior al consejo. Nada sucede hasta que se define y despliega la regulación, y las corporaciones son expertas en retrasar la implementación.
Sí, aumentar las tarifas significa tocar muchos dominios regulatorios individuales a nivel estatal y municipal, pero como desplegar energía solar o eólica, puedes hacerlo de forma incremental.
- ah1508
¿No crees que el odio a la IA limitará el uso general y luego los ingresos, por lo que se ralentizará por sí sola mientras el nicho (AlphaFold, por ejemplo) permanecerá?
Orígenes del odio a la IA:
* "mi jefe quiere que use IA pero no entiende mi trabajo ni cómo funciona la IA"
* "la IA nos matará a todos"
* "la IA destruirá mi trabajo (o el de mi colega si uso la IA mejor que él)".
* No puedo pagar mis facturas de electricidad por culpa de los laboratorios de IA.
* ...
Ver también los sentimientos encontrados sobre los beneficios de la IA ("más difícil de justificar" según el COO de Uber).
No recuerdo una tecnología que haya suscitado tanto odio, y por buenas razones dada la forma en que se presenta. Me tienta pensar que el odio a la IA o el escepticismo razonable (frente a la propaganda irracional) puede, quizás, reducir la financiación y mantener la IA especializada para la resolución de problemas reales (producir toneladas de LOC al día no es uno de ellos, creo).
- cuuupid
¿En qué punto dejamos de tratar con el liderazgo de Anthropic de buena fe y reconocemos su historial?
- sin pesos abiertos
- no se puede usar claude para investigar IA
- entrenan con la propiedad intelectual de todos los demás y se la venden de vuelta
- 8 intentos de captura regulatoria y contando
- tan controladores que son la única empresa estadounidense en la lista negra del gobierno de EE. UU.
Esto no es altruismo efectivo / racionalismo descontrolado, son solo prácticas comerciales monopolísticas y anticompetitivas disfrazadas de ética, y seguirán saliéndose con la suya hasta que miremos más allá de su sensacionalismo y les apliquemos leyes antimonopolio.
Altman recibe mucho odio, pero OpenAI ha sido un administrador mucho mejor (en al menos 3/5 de lo anterior) que Anthropic.
- xg15
No veo cómo funcionarían los objetivos duales de "tenemos que llegar a un acuerdo con China para una ralentización mutua" pero también "tenemos que asegurarnos de mantenernos siempre por delante de China".
Imagino que lo primero que exigiría el gobierno chino en negociaciones sobre tal acuerdo sería el levantamiento de la prohibición de chips y destilación.
> Algunos pueden creer que estas medidas dificultan la cooperación con China, pero creo que lo contrario es cierto: estas medidas aumentan la influencia de las democracias y hacen más probable un acuerdo en el futuro.
Todos pueden creer lo que quieran, pero me parece que la "influencia" en ese caso sería exactamente la capacidad de levantar esas medidas: no puedes tener ambas cosas, usarlas como influencia y mantenerlas activas al mismo tiempo.
- zinodaur
> No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios
¿Alguien puede aclararme esto? ¿Qué tan avanzados estarían los modelos de pesos abiertos sin el ritmo frenético de los laboratorios de frontera?
Como ciudadano no estadounidense, ¿a qué poderes autoritarios se refiere? Hasta donde sé, EE. UU. es el único país que utiliza modelos de frontera para realizar ataques aéreos contra civiles y orquestar asesinatos de gobiernos extranjeros.
- m12k
Para ser honesto, creo que somos increíblemente afortunados de estar avanzando tanto en IA ya, mientras el mundo todavía tiene tantos sistemas no digitalizados y procesos manuales. Imagino que en, digamos, 50 años, el mundo estará tan conectado que básicamente podrá ser "conquistado" desde internet. Preferiría mucho más que la IA irrumpiera en el escenario que tenemos hoy.