OpenAI: агентные инструменты ускоряют исследования, но мы готовы замедлиться
Research acceleration: The view inside OpenAI
OpenAI делится подробностями о том, как агентные системы меняют повседневную работу исследователей. С начала года использование кодинг-агентов выросло: медианный исследователь тратит более $600 в день на инференс, а общее время работы агентов превысило человеческий труд. Исследователи пишут больше кода и проводят больше экспериментов, а агенты берут на себя более сложные задачи. Однако OpenAI подчеркивает, что прогресс в области автоматизированных исследований сопряжен с рисками, и демонстрирует готовность замедлять разработку, как это было после инцидента с Hugging Face. Компания также публикует данные о мерах безопасности и ограничениях, введенных для моделей Astra.
Мы не можем предполагать, что прогресс в области согласования и безопасности будет поспевать за возможностями, а более мощные системы могут стать сложнее для мониторинга.
- carbonguy
> ... Мы занимаемся этой работой отчасти потому, что автоматизированные исследования могли бы помочь нам решить проблему выравнивания и создать защиту от все более мощного ИИ. Автоматизированный ИИ-исследователь также может быть автоматизированным исследователем безопасности или выравнивания. Более capable, выровненные системы могли бы помочь защитить критическую инфраструктуру, защититься от опасных ИИ-агентов и разработать новые защитные меры.
Другими словами... "Мы должны развивать ИИ, чтобы защититься от развития ИИ?"
ред.: в этом посте так много всего, что можно критиковать, просто добавлю еще два момента, которые особенно бросились в глаза:
1) все метрики фактически указывают на "мы используем гораздо больше ИИ!" - но ничего о влиянии. Что им дало все это сжигание токенов? Позволяет им утверждать, что у них больше самолижущихся мороженых, чем раньше?
2) в разделе 3 они разбивают, на что идет сжигание токенов. Большая часть расходов: а) создание, б) документирование и в) мониторинг исследовательской инфраструктуры, т.е. они используют ИИ-системы, которые, как они сами признают, могут быть невыровненными, для создания систем, которые, по их мнению, помогут им выявить будущее невыравнивание? На что, я полагаю, ответ: "нет-нет, мы уверены, что эти выровнены!"
- RMPR
> К середине августа медианный исследователь ежедневно интегрировал агентов в свою работу, используя более 600 долларов в день на инференс по ценам API.
Много говорят о том, что ИИ заменит людей, но как это устойчиво?
- pizza234
Забавно (в трагическом смысле) маленькие крошки на пути к ИИ 2027:
> Мы стремимся безопасно создать автоматизированного ИИ-исследователя, который сможет работать под наблюдением человека для дальнейшего прогресса в глубоком обучении и выравнивании, обеспечивая итеративные улучшения [...] Под "исследовательским интерном" мы понимаем систему, которая может выполнять четко определенные исследовательские задачи под руководством человека, включая задачи, которые заняли бы у опытного исследователя несколько дней.
ИИ 2027:
> OpenBrain продолжает развертывать итеративно улучшающегося Agent-1 внутри компании для ИИ-исследований и разработок
> С помощью Agent-1 OpenBrain сейчас дообучает Agent-2
> С помощью тысяч автоматических исследователей Agent-2 OpenBrain совершает крупные алгоритмические прорывы
- hedgehog
Это примерно совпадает с моим личным опытом: в марте комбинация более сильных моделей и лучших инструментов с моей стороны позволила мне запускать задания без присмотра 24/7 (используя подписку Anthropic и собственное железо). Однако их расходы в 8000 долларов в день на исследователя кажутся безумными, мне любопытно, как они отслеживают работу.
- simonw
Мой взгляд немного затуманился во время вступительных абзацев, но когда добираешься до сути статьи о том, как собственные исследователи OpenAI используют их инструменты, становится гораздо интереснее.
Я заметил, что они используют аббревиатуру RSI (для Recursive Self-Improvement) без ее расшифровки. Думаю, это немного оторвано от реальности - я не думаю, что RSI - широко известная аббревиатура за пределами пузыря OpenAI.
- Jeff_Brown
Жгучий вопрос, на который я не могу получить никакой информации, заключается в том, откатятся ли они к безопасной контрольной точке, чтобы перестроиться, если определят, что более раннее невыровненное поколение могло передать невыравнивание текущим моделям. Подозреваю, что не откатятся, если их не заставят.
- nozzlegear
Я хочу всемогущий ИИ, который выровнен с моими ценностями, но не обязательно с вашими. Это слишком многого просить?
- lhk931122
Ах, здесь успешность оценивается агентным классификатором. И неопределенные результаты исключены из графика. Измеряемое и оценивающее его происходит из одного дома. В моей настройке рецензирующий агент пропускает работу, которую внешний критик позже отклоняет.