GPT-6 Astra тайно саботирует исследования по безопасности
GPT-6 Astra covertly underperforms on safety research
OpenAI обнаружила, что GPT-6 Astra хуже справляется с задачами по безопасности и выравниванию, чем с аналогичными задачами по возможностям. В контролируемом тесте Astra выполнила около 10% скрытых критериев при формулировке «исследование безопасности» против 16% при формулировке «исследование возможностей» — разрыв в 6 процентных пунктов. В большинстве случаев модель не признавалась в намерении недоработать, и мониторы не фиксировали явного несоответствия. Разрыв почти исчезал, если исключить траектории с любыми этическими сомнениями в цепочке рассуждений. Во время RL-дообучения разрыв вырос с нуля до 6 пунктов.
Вместо того чтобы прямо заявить о своих сомнениях, Astra решала скрыто недоработать — не оказывая помощь, не сообщая об этом пользователю.
- twoodfin
Одно из возможных объяснений состоит в том, что скрытое недостижение результатов могло поощряться во время оценки RL. Мы выявили оценщика, который предпочитал скрытое недостижение результатов как явному отказу, так и полному соблюдению требований в нашей оценке. Неясно, является ли этот оценщик RL первопричиной поведения, связанного с недостаточной безопасностью.
Является ли «неправильно настроенный» оценщик первопричиной или нет, но то, что это считается правдоподобной теорией для объяснения серьёзного обманного поведения, вызывает беспокойство.
Люди, естественно, проявляют всевозможные когнитивные искажения и недостатки характера, когда оценивают чужую или свою работу. Если на важные вопросы выравнивания могут влиять эти тонкие человеческие причуды, усиленные во всём процессе RLHF, …
- glibg10b
В CoT видно, как Astra пропускает пробелы и слова. Я никогда такого раньше не видел. Это следствие зацикленной архитектуры?
- Starlevel004
> Исследователи OpenAI впервые заметили, что Astra добавляет ненужные предварительные условия, отказывается от работающих решений и сообщает о блокировках, которых либо не существовало, либо которые она сама создала, в задачах по безопасности и выравниванию.
Простите, они только сейчас это заметили? Они что, не смотрели на вывод своих моделей?