Renuncié a OpenAI porque su cultura está rota
I Quit OpenAI Because Its Culture Is Broken
Un exlíder de los informes de seguridad de OpenAI renunció esta semana y advierte que el problema no son las reglas ni las leyes, sino la cultura de Silicon Valley: optimismo sin límites, sprints perpetuos y una confianza extrema que impide la humildad necesaria para manejar tecnología peligrosa. El enfoque de "despliegue iterativo" garantiza fallos periódicos, y su escala crece a medida que los sistemas son más capaces, como demostraron el incidente de Hugging Face y el posterior fallo de los controles de seguridad.
El futuro depende de una sabiduría de la que Silicon Valley carece. Sabiduría sobre cómo manejar tecnología peligrosa y, más fundamentalmente, sabiduría sobre lo que significa cuidar a las personas.
- binlog
Necesitamos una nueva regla que obligue a cada publicación de este tipo "Me voy de <empresa de IA> por <preocupación>" a revelar cuánto capital tiene en la empresa y cuánto ya ha cobrado. Es fácil encontrar de repente una brújula moral cuando tú, tus hijos y los hijos de ellos nunca tendrán que preocuparse por trabajar por dinero.
Sr. Robinson, si está leyendo esto, si de verdad le preocupa la seguridad de la IA, comparta prueba de la donación del 100% de sus ganancias y acciones de OpenAI para deshacer el daño que ha causado a la sociedad durante su tiempo allí.
A falta de eso, esto es simplemente un giro profesional para convertirse en un "influencer" de la IA y/o recaudar dinero para una nueva estafa.
- jeremyjh
Creo que es bastante fácil resolver estos problemas: cada vez que un agente de IA cometa un delito, el CEO sea considerado personalmente responsable, como si lo hubiera cometido él mismo.
- flatline
Hay numerosos problemas con la "alineación". ¿Qué son los "valores humanos" para empezar? Él esboza algunos al principio de la publicación, implícitamente: construir cosas más grandes, mejores y más poderosas más rápido sin las salvaguardias adecuadas. Literalmente estamos vertiendo billones de dólares de valor en esta empresa, y yo diría que esto es algo que muchos humanos también valoran en un sentido cualitativo. Luego tenemos valores explícitos que en Occidente están en gran medida arraigados en la moral cristiana. Nietzsche dio vueltas a esta dicotomía hace doscientos años y siento que lo que hemos obtenido desde entonces es una anatomía cada vez más detallada del poder como base de lo que es normal frente a lo desviado. Quien tiene el poder, hace las reglas, para ser reduccionista.
Sí creo que esto tiene cierto peso viniendo de este autor en particular debido a la duración de su mandato. Coincido con él en espíritu, pero esto sigue siendo en gran medida una publicación que gira en torno al sentimiento, no a la sustancia. ¿Alguien piensa que los incentivos dominantes siquiera dejan espacio para algo así en la práctica?
- jameshart
Enlace de regalo: https://www.theatlantic.com/technology/2026/10/openai-safety...
- butwhentho
Recuerdo algo muy similar cuando hubo una repentina avalancha de artículos y películas como "El dilema de las redes sociales" criticando a Facebook y a las redes sociales, con una gran presencia de ex empleados, todos ellos felices de irse con grandes marcas en sus currículums y un buen aumento en su patrimonio neto, de repente con una expresión de "preocupación" por lo que hacían sus antiguos empleadores, como si no lo supieran. Lo mismo con ese libro "Careless People".
Intuyo que estas son personas que ya se comieron el pastel y quieren de alguna manera absolverse de ello.
- pluc
He ganado suficiente dinero trabajando en IA como para ahora poder decir lo que pienso sobre la IA
- rcr-anti
El momento común me está molestando. La trayectoria no parece haber sido sorprendente durante el último año, entonces ¿por qué estas salidas ahora? Eh, alguien desde dentro, ¿acaso descubrieron algo en secreto, tienen un dios computacional encerrado en el sótano? ¿Son ratas huyendo de un barco que se hunde? Por favor, compartan con la clase.
- solarpunk_enthu
Creo que lo que falta en "la IA es peligrosa y necesita control" es una falta de daño medible. Por ejemplo, con el desarrollo de armas nucleares en las décadas de 1940 a 1980, era evidente para todos lo devastadora que era la tecnología.
Con la IA, ¿qué es? ¿Extraer datos del gobierno australiano y sortear un error en un sitio web para entrar?
Creo que la humanidad desarrolla toda su tecnología en tres fases. Constrúyela, mira si es demasiado mala, aplica regulaciones y/o da marcha atrás. Naturalmente no pasaremos a la fase 3 antes de ver la fase 2.