El jefe de Anthropic pide frenar el desarrollo de la IA
Anthropic boss Dario Amodei calls for AI development to slow down
Dario Amodei, CEO de Anthropic, propone ralentizar y monitorear de cerca los modelos de IA. En su ensayo 'We Must Pace the Frontier', plantea tres puntos: monitoreo independiente, regulación sectorial y global. Advierte que los riesgos son graves y que las empresas y gobiernos necesitan tiempo para abordarlos. La reacción no se hizo esperar: Elon Musk lo respaldó, mientras algunos críticos ven una jugada para concentrar el poder tecnológico.
Creo que si frenar nos comprara incluso un año o dos extra antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga seriamente mal.
- jwpapi
Pensaba que los nuevos modelos eran súper inteligentes. Fable y Astra. Definitivamente superaron a sus generaciones anteriores, pero después de un par de semanas de uso intensivo mi base de código vuelve a ser un desastre estúpido y no hay salida excepto que yo arregle el código a mano.
Mi nueva sospecha ahora es que no se volvieron drásticamente más inteligentes, sino que fueron entrenados con la entrada de los usuarios en las generaciones anteriores. Ya no creo que hayamos tenido un salto masivo de inteligencia. Simplemente parece que conocen más casos límite. Por lo tanto, veo esto como marketing.
Encantado de debatirlo.
- aenis
La pregunta es: ¿no está ya el gato fuera de la bolsa? Con lo que ya está en el dominio público, y el cómputo disponible para actores motivados y con mucho dinero, ¿podrán continuar la investigación sin los investigadores clave? ¿Y podrán esas personas reclutar a investigadores clave con motivaciones suficientes?
A diferencia de la proliferación nuclear, no hay un requisito de base industrial pesada. No hay enriquecimiento de uranio visible que consuma tiempo. Todo lo que se necesita es que alguien compre suficiente cómputo e intente pasar la puerta del RSI. O sobornar a personas con acceso a los pesos del modelo hasta la frontera existente: la asimetría entre lo que se necesita para sobornar a un montón de frikis y lo que está en juego es asombrosa.
- 99954bb63ccc
Entonces, ¿alguien en los laboratorios de IA de frontera ha considerado hacer cosas _buenas_ con estos modelos en lugar de demostrar continuamente que son capaces de hacer cosas maliciosas?
En vez de quemar tokens haciendo "hacks" intelectualmente impresionantes, o escapes de sandbox de los que me preocupa que puedan contener malware común y corriente, ¿por qué no centrarse en mostrar a la gente lo que se puede arreglar?
O hacer mejor el software que la gente realmente usa todos los días.
O donar esfuerzos a la investigación médica.
No me gusta equiparar la IA con la energía nuclear, pero se parece mucho a mostrar continuamente a la gente qué explosión tan grande puedes crear en lugar de mostrarles a cuántas casas/hospitales/escuelas/etc. puedes dar energía.
- voidfunc
Este tipo es un imbécil egoísta.
- 708145_
Después de la campaña de miedo de Mythos de 6 meses, es difícil tomárselo en serio.
- bkishan
Y Sam y Elon retuitean a Dario, dándole la razón. No sé qué es más raro.
- malthaus
"nuestra tasa de quema es una locura, calmémonos todos colectivamente, fortifiquemos nuestro foso para poder hacer captura regulatoria y búsqueda de rentas durante los próximos 50 años"
el miedo sigue siendo la mejor herramienta para que las masas estén de acuerdo con cualquier plan que trames para ti mismo
- knuppar
Voy a repetir mi comentario de hace meses, sigue siendo cierto
> Jesús Dario ya lo entendemos hombre, quieres notoriedad para la IPO.