OpenAI пускает Apollo Research, METR, Transluce и Goodfire к своим внутренним моделям
First phase of embedded assessments at OpenAI
OpenAI подписала соглашения с четырьмя независимыми оценщиками — Apollo Research, METR, Transluce и Goodfire — о первом этапе «встроенных оценок». Эксперты получат доступ к чекпоинтам моделей, исходному коду, данным обучения и системам мониторинга, чтобы проверить выравнивание и защитные механизмы. Работать они будут на территории офисов OpenAI на её устройствах, а за разногласия будет отвечать комитет по безопасности и защите. Отчёты оценщиков публикуются независимо, но OpenAI оставляет за собой право редактировать конфиденциальные фрагменты.
Мы ожидаем, что на ранних этапах встроенных оценок возникнут технические проблемы с доступом, ограничения по пространству, меняющиеся протоколы безопасности и другие непредвиденные сложности.
- vessenes
Мы находимся в удивительном нарративе, где Anthropic движется вперёд, а oAI замедляется по соображениям безопасности.
Здесь довольно интересная матрица возможностей, если учесть, у кого лучше mechinterp, действительно ли это помогло alignment, и каков внутренний ритм вокруг денег и IPO.
Если вы считаете свои проблемы безопасности экзистенциальными, то вы ОБЯЗАНЫ остановиться и сделать всё это. А если вы думаете, что чьи-то чужие проблемы безопасности могут внезапно, без предупреждения убить их, то у вас есть время замедлиться и сделать всё правильно.
Думаю, если бы мне пришлось выбрать компанию, которой я бы руководил, я бы выбрал Anthropic прямо сейчас, учитывая только взгляд со стороны. Но я вижу много причин, почему быть быстрым последователем в период IPO может дать комфорт. В любом случае, мне интересно увидеть некоторые отчёты в ближайшие несколько месяцев о том, что на самом деле происходит сейчас, и узнать, каково качество следующей модели oAI. Вполне возможно, мы увидим, как одна из групп отрывается от другой в промежутке. И это вполне может быть oAI.
- mentalgear
Разве мы не можем просто использовать название 'on-site'? Оно гораздо понятнее и не несёт багажа военного термина 'embedded'.
- petesergeant
Уверен, люди найдут, к чему придраться, но мне трудно увидеть в этом что-то плохое.