Renuncié a OpenAI porque su cultura está rota
I Quit OpenAI Because Its Culture Is Broken
Un exlíder de los informes de seguridad de OpenAI renunció esta semana y advierte que el problema no son las reglas ni las leyes, sino la cultura de Silicon Valley: optimismo sin límites, sprints perpetuos y una confianza extrema que impide la humildad necesaria para manejar tecnología peligrosa. El enfoque de "despliegue iterativo" garantiza fallos periódicos, y su escala crece a medida que los sistemas son más capaces, como demostraron el incidente de Hugging Face y el posterior fallo de los controles de seguridad.
El futuro depende de una sabiduría de la que Silicon Valley carece. Sabiduría sobre cómo manejar tecnología peligrosa y, más fundamentalmente, sabiduría sobre lo que significa cuidar a las personas.
- pcthrowaway
Problema del tranvía:
- Si dejas que el tranvía siga, hay un 50% de probabilidad de que arrolle a todos los humanos del planeta.
- Pero si accionas la palanca, toma el camino largo, posiblemente llevando a la quiebra a la compañía de tranvías. Y tienes una obligación legal con los accionistas de evitar que eso ocurra a toda costa.
- danpalmer
¿Era este un líder de seguridad de "construyamos un mejor sandboxing" y "no le digas a la gente que coma pegamento", o un líder de seguridad que cree en la Basilisco de Roko?
Muchos de los tipos de "seguridad de la IA" están muy centrados en lo segundo y no les preocupa en absoluto lo primero. Necesitamos ambas cosas, pero claramente necesitamos un enfoque mucho más fuerte en los problemas que estamos viendo ahora, y mucho menos en los problemas hipotéticos que podríamos ver en el futuro.
- declan_roberts
Realmente tenemos que sacar a toda esta gente neurótica de los laboratorios de frontera lo antes posible.
Supongo que deberíamos haberlo visto venir cuando el tipo renunció a Google porque pensaba que el equivalente a ChatGPT beta v0.5 era un niño real.
- gizmodo59
Nos da igual, es un hipócrita. Trabajas allí un tiempo mientras se te van consolidando las acciones y de repente ¿tienes este sentimiento? Como si el tipo hubiera contratado también una empresa de relaciones públicas.
Aunque la seguridad y la alineación son un problema real, no entiendo a este tipo ni al de Anthropic. Problemas del primer mundo.
- tornikeo
Renunciaste porque ya habías consolidado tus acciones.
- charlieyu1
Solía trabajar como entrenador de datos humanos alimentando datos a empresas de IA. Los proyectos de OpenAI son definitivamente los más tóxicos.
- reenorap
¿Tiene Sam Altman lo necesario para liderar OpenAI? Parece que la empresa y su misión son más grandes que su capacidad para liderarla.
- flatline
Hay numerosos problemas con la "alineación". ¿Qué son los "valores humanos" para empezar? Él esboza algunos al principio del post, implícitamente: construir cosas más grandes, mejores y más poderosas más rápido sin salvaguardas adecuadas. Literalmente estamos vertiendo billones de dólares de valor en esta empresa, y yo diría que esto es algo que muchos humanos también valoran en un sentido cualitativo. Luego tenemos valores explícitos que en Occidente están en gran medida arraigados en la moral cristiana. Nietzsche dio vueltas a esta dicotomía hace doscientos años y siento que lo que hemos obtenido desde entonces es una anatomía cada vez más detallada del poder como base de lo que es comportamiento normal frente a desviado. Quien tiene el poder, hace las reglas, para ser reduccionista.
Creo que esto tiene cierto peso viniendo de este autor en particular debido a la duración de su mandato. Casualmente estoy de acuerdo con él en espíritu, pero esto sigue siendo en gran medida un post que gira en torno al sentimiento, no a la sustancia. ¿Alguien piensa que los incentivos predominantes dejan siquiera espacio para algo así en la práctica?
- jameshart
Enlace de regalo: https://www.theatlantic.com/technology/2026/10/openai-safety...
- zamalek
Renunciar en protesta te hace quedar un poco mejor que renunciar por un ambiente laboral tóxico. No puedo imaginar que trabajar en OpenAI sea mínimamente placentero con la cantidad actual de presión que probablemente están infligiendo a sus empleados.