Руководитель по безопасности OpenAI уходит, заявив, что культура компании «сломана»
OpenAI safety leader quits, warning AI company's culture is 'broken'

Дэвид Робинсон, отвечавший за написание отчётов по безопасности к релизам ChatGPT, уволился из OpenAI. В эссе «Я ушёл из OpenAI, потому что её культура сломана» он раскритиковал подход компании к разработке ИИ и призвал к культурным изменениям. Робинсон предложил два шага: опираться на опыт ядерной и авиационной отраслей и разработать «новую науку» для контроля автономных систем. OpenAI заявила, что продолжает усиливать безопасность и при необходимости приостанавливает обучение моделей.
Учитывая сегодняшние риски, передовые лаборатории должны работать как атомные электростанции или загруженные аэропорты — с многоуровневым резервированием и тщательным, требующим времени планированием, чтобы случайная и неизбежная человеческая ошибка не открыла дверь к катастрофе.
- pcthrowaway
Задача о вагонетке:
- Если позволить вагонетке ехать дальше, есть 50% шанс, что она переедет каждого человека на планете
- Но если переключить стрелку, она поедет в объезд, что, возможно, приведёт к банкротству трамвайной компании. А у вас есть юридическая обязанность перед акционерами предотвратить это любой ценой.
- danpalmer
Это был лидер по безопасности из категории «постройте лучшую песочницу» и «не говорите людям есть клей», или лидер по безопасности, верящий в Василиска Роко?
Многие из тех, кто занимается «безопасностью ИИ», очень сосредоточены на втором и совсем не обеспокоены первым. Нам нужно и то, и другое, но явно необходимо гораздо больше внимания уделять проблемам, которые мы видим сейчас, и гораздо меньше — гипотетическим проблемам, которые могут возникнуть в будущем.
- gizmodo59
Нам-то что, он лицемер. Ты работаешь там какое-то время, пока вестится твой сток, и вдруг у тебя появляется такое чувство? Такое ощущение, что чувак ещё и PR-фирму нанял.
Хотя безопасность и согласование — реальная проблема, я не понимаю этого парня или чувака из Anthropic. Проблемы первого мира.
- charlieyu1
Раньше работал тренером человеческих данных, скармливая данные ИИ-компаниям. Проекты OpenAI определённо самые токсичные.
- zamalek
Увольнение в знак протеста выглядит чуть лучше, чем увольнение из-за токсичной рабочей среды. Не могу представить, чтобы работать в OpenAI было хоть сколько-то приятно при текущем уровне давления, которое они, вероятно, оказывают на своих сотрудников.
- digitaltrees
Пора ввести принудительную ликвидацию этих фирм. Они не получают права делать такой выбор от имени человечества только потому, что зарегистрировали корпоративное юрлицо в Делавэре. Они ведут себя крайне безответственно.
- mlmonkey
Я бы больше верил этим людям, если бы они подтверждали слова делом и вернули все акции/опционы OpenAI, которые они приобрели. Каждая акция/RSU/ESOP должна быть возвращена, чтобы они не наживались на всём этом так называемом апокалипсисе, на который жалуются.
- pmkary
Боюсь, этот дорогой лидер был последней душой на этой зелёной Земле, до которой дошёл меморандум; к тому времени его уже перевели на латынь, высекли на монументе и забыли две цивилизации.