El pánico a la IA es una distracción: el verdadero peligro es el control de los laboratorios
P(doom)
El autor cuestiona la narrativa de que la IA causará una extinción, argumentando que el verdadero riesgo es el poder de unas pocas empresas cerradas como OpenAI y Anthropic. Señala que los modelos abiertos, impulsados por laboratorios chinos, nivelan el campo y que la regulación actual es un fracaso total. Su preocupación central no es el fin del mundo, sino el costo económico y social que esta tecnología impone a todos los demás.
We should be glad that China is currently massively bailing out the world. If it were not for Chinese labs distilling American models, we would be in a pretty awful situation right now, particularly as Europeans.
- demibabs
No soy el mayor fan de Ed Zitron, pero algo que dijo se me quedó grabado:
OpenAI y Anthropic dedican mucho tiempo a advertirnos sobre "¿y si IAs poderosas cayeran en las manos equivocadas?".
Pero ya están en las manos equivocadas.
- pandoro
No puedo concebir cómo puedes trabajar intensamente en un problema que crees genuinamente que tiene una probabilidad del "10 al 25%" de causar un daño inmenso o incluso presentar un riesgo de nivel de extinción para la humanidad. ¿Cómo puedes creer esto de verdad y estar de acuerdo con ello?
- bryan0
> Una tecnología poderosa que está ahí para que todos la usen viene con un ritmo incorporado. En cierto modo, es la forma más pura de MAD o proliferación.
Creo que este malentendido de MAD socava todo su argumento. Si todos tuvieran el mismo acceso a armas nucleares, nuestra sociedad dejaría de existir bastante rápido. Solo hace falta unos pocos malos actores para causar un daño enorme.
También creo que es ingenuo pensar que si OpenAI y Anthropic detuvieran el desarrollo mañana, el problema estaría resuelto. Como si no hubiera nadie más que pueda y vaya a ocupar su lugar rápidamente. El verdadero problema, que es lo que señala Dario, es uno de coordinación. Todos necesitan ponerse de acuerdo para parar. Ese es el desafío.
- passive
Esto es lo más cercano a lo que siento sobre toda esta situación que he visto escrito, cubriendo muchas de las diferentes facetas de lo estúpido y doloroso que es (aunque ha sido una buena semana para ese tipo de publicación).
Como tengo un respeto increíble por Armin y su trabajo, es muy agradable ver esto, y espero que despierte a algunas otras personas.
- ilyaizen
En realidad solo hay dos empresas: Anthropic y OpenAI. Nadie más importa en este espacio ahora mismo (esto podría cambiar, pero estamos hablando del ahora mismo).
Me gusta cómo descartó tan casualmente a todos los demás laboratorios, incluidos los laboratorios líderes de EE. UU. que podrían estar cerca de RSI ahora mismo. Y cómo trata el "ahora mismo" de forma tan rígida, como si hace siete años, cuando se lanzó GPT-2, fuera un pasado lejano.
- mangecoeur
Es absurdo que OpenAI haya logrado convertir sus fallos de ciberseguridad, donde su propia seguridad no es lo suficientemente buena para asegurar que su propio producto no se descontrole, en un éxito de marketing.
Cuando una empresa usa sus productos para hackear a otras empresas, eso es un delito. Si lo haces "por accidente", eso es negligencia grave, y ruedan cabezas. Pero grita "IA" tres veces y se convierte en una oportunidad de marketing.
- skor
Quizá me lo perdí, pero busqué activamente la opinión de alguien sobre "marcar el ritmo de la frontera" en el sentido de: "hemos tocado techo, así que no esperes innovaciones pronto". O una excusa para tener otras cosas más importantes que atender.
El miedo es mucho más poderoso que cualquier otro sentimiento, así que instaurarlo definitivamente preparará el terreno para un buen desplome en la IPO.
En cuanto a ser peligroso, una computadora puede ser peligrosa si está enchufada, puede que sea demasiado tarde para desenchufarla en algún momento, sí, pero todo eso parece una provocación.
¿Es plausible?
- chis
> No creo que la IA vaya a desencadenar un evento de extinción. De hecho, incluso si nadie frenara, realmente no creo que la humanidad tuviera mucho de qué preocuparse.
Claro, seguro. Si te sientes así, entonces tu probabilidad de perdición es cero, y tiene sentido preocuparse por cosas como la concentración del mercado o perder la diversión de la ingeniería de software.