Anthropic inventa una amenaza que aún no existe para avivar el miedo al apocalipsis de la IA
Anthropic conjures threat that doesn't exist yet to stoke fears of AI apocalypse
Anthropic publicó una investigación sobre gusanos de IA autorreplicantes que, según afirma, podrían propagarse por dispositivos IoT en cuestión de meses. El estudio usó GLM-5.2 para replicar Llama3.1-8B en ocho instancias de Google Cloud, pero ignoró a propósito el componente de explotación de vulnerabilidades y probó solo en nodos deliberadamente abiertos. The Register señala que la inferencia distribuida alcanzó apenas 0,39 tokens por segundo, mientras que Mirai duplicaba su tamaño en una hora en 2016. La amenaza, concluye, es otro ejercicio de miedo que solo beneficia a los laboratorios de IA.
Nada vende productos de IA tan bien como el miedo.
- overgard
Esto no tiene ningún sentido para mí. O sea, vale, puedes instalar un modelo de baja potencia en hardware de baja potencia y hacer inferencia extremadamente lenta... ¿con qué fin? ¿Por qué sería un ataque útil en absoluto? Suponiendo que hayas comprometido este hardware, ¿no tendría muchísimo más sentido simplemente instalar malware normal? Y además, ¿en qué sentido un modelo de 8B o lo que sea sería peligroso? He usado LLMs locales y 8B
como que apesta. ¿Va a escribir poemas malos en mi tele o algo así?
Además, aunque no creo en la narrativa del fin del mundo... oye, quizás no hagas cosas que son funcionalmente inútiles pero que parecen diseñadas para crear este fin del mundo en primer lugar. Como que no puedes decir "oh, estamos tan asustados" y hacer cosas como esta sin perder completamente tu credibilidad.
- beloch
Por un lado, si realmente estuvieran preocupados de que su software produzca un gusano de IA autorreplicante y adaptativo, tomarían medidas para asegurarse de que eso nunca suceda. Si sucediera, los demandarían hasta la ruina. Probablemente solo quieren inflar su IPO y quizás conseguir algún bloqueo regulatorio para complicarles la vida a los competidores que llegan tarde.
Por otro lado, un gusano de IA autorreplicante y adaptativo sí suena legítimamente pernicioso. No el fin del mundo, pero posiblemente el fin del mundo en línea.
- cmiles8
Los fracasos de IPO de la semana pasada no retratan un mercado que esté ansioso por una Anthropic de $2T.
En el extraño mundo de hoy, en lugar de intentar convencer a la gente de que tienen un negocio viable, los laboratorios de IA parecen totalmente dedicados a encontrar una historia, cualquier historia, que los exima de las duras preguntas empresariales y financieras para las que aparentemente no tienen respuestas básicas y buenas.
"Estaríamos increíbles financieramente ahora mismo, pero tuvimos que frenar por los bots asesinos autorreplicantes... ¡la humanidad por encima de las ganancias!" no es un mensaje que vaya a funcionar en los mercados públicos para explicar trimestre tras trimestre de pérdidas masivas.
- KevinMS
Por favor, por favor, regúlenos, y no se olviden también de todos nuestros competidores, que no pueden permitirse lidiar con esto.
- 0x000xca0xfe
¿Acaso acaban de leer mi publicación de la semana pasada y la tomaron como inspiración?
https://news.ycombinator.com/item?id=50002301#50006029
Los modelos locales obviamente no son lo suficientemente buenos (todavía), no necesitas "investigación" para saber esto.