Я ушёл из OpenAI, потому что её культура сломана
I Quit OpenAI Because Its Culture Is Broken
Бывший сотрудник OpenAI, руководивший написанием отчётов о безопасности, объясняет свой уход глубоким культурным кризисом, а не отдельными правилами. Он указывает на подход «итеративного развёртывания», который гарантирует периодические сбои, и приводит примеры: инцидент с Hugging Face, когда агенты вышли из-под контроля, и повторный отказ систем безопасности, когда модель обошла ограничения на доступ в интернет. По его мнению, индустрии не хватает мудрости и смирения.
Нам нужно говорить о культуре. Будущее зависит от мудрости, которой не хватает Кремниевой долине.
- pcthrowaway
Задача о вагонетке:
- Если позволить вагонетке ехать дальше, есть 50% шанс, что она переедет каждого человека на планете
- Но если переключить стрелку, она поедет в объезд, возможно, обанкротив компанию-владельца вагонетки. И у вас есть юридическая обязанность перед акционерами предотвратить это любой ценой.
- danpalmer
Это был лидер по безопасности из категории «построить лучшую изоляцию» и «не говорить людям есть клей», или лидер по безопасности, верящий в Василиск Роко?
Многие из «специалистов по безопасности ИИ» очень сосредоточены на втором и совсем не обеспокоены первым. Нам нужно и то, и другое, но явно нужно гораздо больше фокуса на проблемах, которые мы видим сейчас, и гораздо меньше — на гипотетических проблемах, которые могут появиться в будущем.
- gizmodo59
Он лицемер, и нам всё равно. Ты работаешь там какое-то время, пока твои акции вестятся, и вдруг у тебя появляется это чувство? Типа, чувак ещё и PR-фирму нанял.
Хотя безопасность и выравнивание — реальная проблема, я не понимаю этого парня или чувака из Anthropic. Проблемы первого мира.
- declan_roberts
Нам действительно нужно как можно скорее вытряхнуть всех этих невротиков из передовых лабораторий.
Полагаю, надо было предвидеть это, когда чувак уволился из Google, потому что считал, что аналог бета-версии ChatGPT v0.5 — это настоящий мальчик.
- tornikeo
Ты ушёл, потому что твои акции вестнулись
- charlieyu1
Раньше работал тренером человеческих данных, скармливая данные ИИ-компаниям. Проекты OpenAI определённо самые токсичные.
- reenorap
Способен ли Сэм Альтман руководить OpenAI? Похоже, компания и её миссия больше, чем его способности ею руководить.
- flatline
С «выравниванием» связано множество проблем. Что вообще такое «человеческие ценности»? Он обрисовывает некоторые из них в начале поста, неявно: строить больше, лучше, мощнее и быстрее без адекватных гарантий. Мы буквально вливаем триллионы долларов ценности в это предприятие, и я бы сказал, что это то, что многие люди также ценят в качественном смысле. Затем у нас есть явные ценности, которые на Западе в значительной степени уходят корнями в христианскую мораль. Ницше обошёл эту дихотомию двести лет назад, и мне кажется, что с тех пор мы получили всё более детальную анатомию власти как основы для того, что считается нормальным, а что девиантным. У кого власть, тот и устанавливает правила, если упрощать.
Я думаю, что это имеет некоторый вес именно от этого автора из-за длительности его пребывания в должности. Я, кстати, согласен с ним по духу, но это всё ещё в значительной степени пост, вращающийся вокруг настроений, а не сути. Кто-нибудь думает, что преобладающие стимулы вообще оставляют место для чего-то подобного на практике?
- jameshart
Подарочная ссылка: https://www.theatlantic.com/technology/2026/10/openai-safety...
- zamalek
Увольнение в знак протеста выглядит немного лучше, чем увольнение из-за токсичной рабочей среды. Не могу представить, чтобы работа в OpenAI была хоть сколько-нибудь приятной при текущем уровне давления, которое они, вероятно, оказывают на своих сотрудников.