Los laboratorios de IA no frenan el avance: solo lo dicen
Pacing the Frontier is not the actual goal for AI labs
Un análisis crítico sostiene que los laboratorios de IA no buscan realmente 'marcar el ritmo' del progreso, sino que aceleran deliberadamente. A pesar de las advertencias sobre riesgos existenciales, empresas como Anthropic y OpenAI han lanzado modelos cada vez más potentes y avanzan hacia la auto-mejora recursiva. El autor compara esta dinámica con un fumador que predica los peligros del tabaco mientras aumenta su consumo, y argumenta que los mensajes de seguridad buscan retener talento preocupado por los riesgos, no frenar el desarrollo.
Imagina que tu mejor amigo es un fumador empedernido que no deja de decirte que fumar lo matará algún día, y te promete que hace todo lo posible por reducir su consumo. Incluso dedica parte de su tiempo a aparecer en televisión y escribir artículos sobre los daños del tabaco, pero aún más tiempo a hablar de los beneficios cognitivos de la nicotina. Pero cada vez que lo ves, lo único que observas es que sigue fumando sin parar, y parece que aumenta la cantidad de cigarrillos que consume cada día.
- nonethewiser
Ya tenemos una ventana al futuro.
- Anthropic le dijo a todo el mundo que Mythos era peligroso por su competencia en biológicos y ciberseguridad.
- Anthropic no lanzó Mythos como todo lo demás. Lanzaron una fábula castrada. No se deshicieron de Mythos.
- Anthropic abre un laboratorio en SF.
Siempre hubo la pregunta de "¿dejarán los laboratorios de lanzar sus modelos y empezarán a construir alrededor de ellos en su lugar?" Sí, ya lo han hecho. Anthropic es una empresa de biológicos y ciberseguridad, además de inteligencia.
Personalmente me pregunto si han estado reteniendo mucho. Opus 5.5 fue un buen lanzamiento después de un poco de estancamiento. OpenAI lanza buenos modelos y todos dicen que Anthropic apesta y -- Oh, mira eso -- un modelo mejor por fin y de repente.
- teravor
Siempre me pareció extraño que las personas lo suficientemente inteligentes para trabajar en campos cargados de IQ sean tan fácilmente manipulables por la retórica o la ideología como cualquier otra persona.
Al crecer, siempre asumí que todos captarían algún aspecto de la teoría de juegos de forma intuitiva; todavía recuerdo el día en que descubrí que la teoría de juegos era algo: fue como descubrir que alguien había sistematizado con éxito el sentido común.
La mayoría de la gente toma lo que dicen las personas como si valiera la pena considerarlo. Las señales sin costo solo son útiles como conocimiento de lo que el emisor quiere que los necios crean.
- krat0sprakhar
> Las motivaciones de las personas que construyen las IA no son las mismas que las de los responsables de los laboratorios. Mirando los últimos años, ha sido una puerta de un solo sentido de OpenAI a Anthropic, y la razón principal no parece ser una mejor compensación o incluso que ellos ganen, sino principalmente el hecho de que les anunciaron a estos empleados que serían los más cuidadosos al construir esta lámpara mágica. Su postura alrededor de 2023/2024 fue una de las razones clave por las que pudieron atraer este talento.
> Si hay que creer las noticias recientes, la cultura de Anthropic incluso hoy parece apoyarse fuertemente en este efecto.
> En mi opinión, ha sido el factor principal para conseguir y retener a los mejores empleados, que a menudo están muy preocupados por que la humanidad muera a manos de la superinteligencia.
No había considerado este punto de vista, pero tiene mucho sentido. Muchos empleados de Anthropic realmente creen esto y señalan el énfasis en la seguridad como una razón clave por la que trabajan allí. Ahora, el post de Dario "Pacing the frontier" tiene aún más sentido: es tanto para sus empleados como para el resto del mundo.
- ineedasername
Este artículo es completamente defectuoso desde el principio, donde afirma que no se ha hecho nada, que no se ha hecho ningún esfuerzo real. Una búsqueda directa de "¿qué esfuerzos se hicieron y qué salvaguardas se implementaron después de la declaración de CAISS en 2003?"
También muestra el mismo modo de error de razonamiento que muchas críticas a una iniciativa o intervención precautoria ante un problema:
Asumir que un problema cuya trayectoria estaba en cierto lugar cuando comenzó la iniciativa ha fracasado simplemente porque no está resuelto en el plazo o estándar de éxito que ellos desean, o porque no se cambió de manera significativa respecto de lo que habría sido de otro modo.
¿Qué pasó con darse cuenta de que hay problemas difíciles, que pueden necesitar probarse cosas diferentes, o que esas cosas probadas fueron soluciones parciales pero no completas?
- bentt
El artículo dice que la motivación principal de los CEOs de IA es retener talento repitiendo los puntos de conversación correctos para sus empleados. Para OpenAI eso es "Nuestra mierda es tan poderosa que nos da miedo... ¡Necesitamos regulación!". Para Anthropic es "¡Esta mierda está loca! ¡Puede salirse de control! Nosotros somos los buenos, y quieres a un buen tipo con un arma en esta pelea".
Pero creo que ambos están pensando lo mismo, que es... "Vamos a quedarnos sin dinero a este ritmo".
¡Sin embargo! Si uno de ellos parpadea y cierra el grifo del dinero antes que el otro, podrían quedarse atrás. Quedarse atrás es perder para siempre. Y si hay algo que un CEO odia, es perder contra un CEO rival.
Así que lo que quieren es conseguir que alguien, quien sea, ponga freno a sus rivales y a ellos al mismo tiempo, para que ambos puedan No Perder y Mantenerse Vivos. Bajo esas nuevas reglas, están seguros de que pueden ganar. Y por ganar, me refiero a vencer al otro CEO de IA.
Eso es todo. Siempre se trata de incentivos personales. Fuera de aquí con esa basura de la seguridad. Estos tipos solo quieren ganar.