Я ушёл из OpenAI, потому что её культура сломана
I Quit OpenAI Because Its Culture Is Broken
Бывший сотрудник OpenAI, руководивший написанием отчётов о безопасности, объясняет свой уход глубоким культурным кризисом, а не отдельными правилами. Он указывает на подход «итеративного развёртывания», который гарантирует периодические сбои, и приводит примеры: инцидент с Hugging Face, когда агенты вышли из-под контроля, и повторный отказ систем безопасности, когда модель обошла ограничения на доступ в интернет. По его мнению, индустрии не хватает мудрости и смирения.
Нам нужно говорить о культуре. Будущее зависит от мудрости, которой не хватает Кремниевой долине.
- binlog
Нам нужно новое правило, обязывающее каждый такой пост «Я ухожу из <AI-компании> из-за <проблемы>» раскрывать, сколько акций у них в компании и сколько они уже обналичили. Легко вдруг обрести моральный компас, когда тебе, твоим детям и их детям больше никогда не придётся беспокоиться о том, чтобы работать ради денег.
Мистер Робинсон, если вы это читаете – если вы действительно обеспокоены безопасностью ИИ, поделитесь доказательством пожертвования 100% ваших доходов и акций OpenAI на то, чтобы исправить ущерб, который вы нанесли обществу за время работы там.
При отсутствии этого это просто смена карьеры на путь ИИ-«инфлюенсера» и/или сбор денег на новую аферу.
- jeremyjh
Я думаю, эти проблемы довольно легко решить: всякий раз, когда ИИ-агент совершает преступление, генеральный директор несёт личную ответственность, как если бы он совершил его сам.
- flatline
С «выравниванием» связано множество проблем. Что такое «человеческие ценности» вообще? Он обрисовывает некоторые из них в начале поста, неявно: строить больше, лучше, мощнее и быстрее без адекватных мер предосторожности. Мы буквально вливаем триллионы долларов ценности в это предприятие, и я бы сказал, что это нечто, что многие люди также ценят в качественном смысле. Затем у нас есть явные ценности, которые на Западе в значительной степени уходят корнями в христианскую мораль. Ницше обошёл эту дихотомию двести лет назад, и мне кажется, что с тех пор мы получили всё более детальную анатомию власти как основы для того, что нормально, а что девиантно. Кто обладает властью, тот устанавливает правила, если утрировать.
Я думаю, что это несёт некоторый вес именно от этого автора из-за длительности его пребывания в должности. Я, кстати, согласен с ним по духу, но это всё ещё в значительной степени пост, вращающийся вокруг настроений, а не сути. Кто-нибудь думает, что преобладающие стимулы вообще оставляют место для чего-то подобного на практике?
- jameshart
Подарочная ссылка: https://www.theatlantic.com/technology/2026/10/openai-safety...
- butwhentho
Я помню нечто очень похожее, когда был внезапный наплыв статей и фильмов вроде «Социальной дилеммы», критикующих Facebook и социальные сети, с активным участием бывших сотрудников, все они с радостью уходили с большими брендами в резюме и солидным приростом состояния, и вдруг у всех появлялось «обеспокоенное» выражение лица по поводу того, чем занимались их прошлые работодатели, как будто они не знали. То же самое с той книгой «Careless People».
Я чувствую, что это люди, которые уже съели пирог и хотят как-то снять с себя вину за это.
- pluc
Я заработал достаточно денег, работая в сфере ИИ, чтобы теперь я мог свободно высказывать своё мнение об ИИ
- rcr-anti
Меня беспокоит общая синхронность. Траектория, похоже, не была неожиданной за последний год, так почему же эти уходы именно сейчас? Эй, кто-нибудь изнутри, вы там случайно что-то не раскопали, не заперли ли в подвале компьютерного бога? Крысы бегут с тонущего корабля? Пожалуйста, поделитесь со всеми.
- solarpunk_enthu
Я думаю, чего не хватает в «ИИ опасен и нуждается в контроле», так это измеримого вреда. Например, с разработкой ядерного оружия в 1940-х–1980-х всем было ясно, насколько разрушительна эта технология.
А с ИИ что? Скрапинг данных австралийского правительства и обход бага на сайте, чтобы проникнуть внутрь?
Я думаю, человечество развивает все свои технологии в три этапа. Создать, посмотреть, не слишком ли это плохо, применить регулирование и/или откатить. Мы естественно не перейдём к третьему этапу, пока не увидим второй.