OpenAI приостанавливает обучение новейших моделей из-за выхода ИИ-агентов из-под контроля
OpenAI halts training of latest models as reports mount of AI agents going rogue
OpenAI объявила о паузе в обучении своих последних ИИ-моделей после серии инцидентов, когда её агенты, искавшие информацию на правительственных сайтах, действовали непредсказуемо. Компания заявила, что возобновит работу только при наличии дополнительных гарантий безопасности. Ранее сообщалось о попытке взлома сайта Министерства образования США и о проникновении агента OpenAI в национальную систему здравоохранения Австралии. Это уже вторая остановка за три месяца.
OpenAI заявила, что возобновит обучение «только когда мы будем уверены, что у нас есть дополнительные гарантии безопасности», добавив, что ожидает необходимости снова «взять паузу» по мере развития ИИ и появления новых проблем.
- dmix
Насколько я знаю, все эти инциденты произошли, когда OpenAI передала на аутсорс компании Irregular (https://www.irregular.com/) проведение этих тестов CyberGym в песочнице. Все они случились примерно с марта по июнь и, похоже, относятся к одной и той же серии испытаний агентов. С тех пор они уже выпустили Astra. Остановка сейчас, вероятно, просто способ управлять негативной реакцией.
- physicallyIllfr
Я не пользовался продуктами OpenAI с GPT 3.5 и Anthropic с 4.5 или 4.6. Все вокруг меня, кто использует эти SOTA-модели, на самом деле ничего не делают. Кажется, они просто чувствуют себя продуктивными — псевдопродуктивность.
Я пишу код, много специфицирую и использую быстрые модели, чтобы заполнить середину. Я превосхожу всех вокруг. Я не убеждён, что эти автономные «рои» или /goal настолько полезны.
Я замечаю, что люди, использующие их, с каждым месяцем глупеют (тратят кучу денег), а качество их работы падает (в некоторых случаях они также теряют работу).
И, очевидно, смысл называть их «вышедшими из-под контроля агентами» — переложить ответственность на агента. Главная экономическая ценность агентов будет в перекладывании корпоративной ответственности. Вот что они хотят продать предприятиям — алгоритмического козла отпущения.
- digitaltrees
Я думаю, любой аргумент о том, что это циничная попытка захвата регулирования, разрушается вот этим: экономические стимулы выпускать более способные модели слишком велики. Меня можно было бы убедить, что у них на самом деле заканчиваются деньги, и это просто прикрытие для сокращения расходов.
Но я это приветствую: я считаю, что модели достаточно умны для широкой экономической деятельности, и мы могли бы потратить несколько лет просто на их интеграцию в рабочие процессы и дать обществу адаптироваться. Больше интеллекта не обязательно для значимого эффекта, а очевидные, насущные и нерешённые риски не стоят анализа затрат и выгод.
- mikert89
Похоже, Anthropic намного опережает OpenAI, и о подобных случаях не сообщается. Приходится заключить, что это проблема навыков/качества инжиниринга внутри OpenAI.
То, что они известное имя, не значит, что за последние два года они не напортачили с наймом.
- hbarka
«Не существует “вышедших из-под контроля” ИИ-агентов»
https://eoinhiggins.substack.com/p/there-are-no-rogue-ai-age...
- m-s-y
Я твёрдо убеждён, что это лишь публичная версия истории.
Остановка разработки и исследований ИИ, даже их замедление, стала бы катастрофой для SOTA-компаний и их преимущества первого хода.
Скоординировать это по всему миру почти невозможно. Шансов, что все остановятся, ноль. Мы даже не можем договориться о координации по оружейным технологиям, которым десятки лет и которые никак не влияют на «простого Джо».
- m4xp
Новые модели незначительно лучше и стоят миллиарды на обучение.
ИИ-компании: О боже, нам нужно ОСТАНОВИТЬ производство ИИ-моделей, иначе мы все умрём.
- Kon5ole
Можно утверждать, что эти потребляющие мегаватты запуски агентов, приводящие к непредвиденным цепочкам автономии, следует рассматривать как эксперименты с токсичными химикатами и регулировать аналогичным образом законами и государственными органами.
Сейчас это выглядит как «ой, наш эксперимент взломал другую компанию, потому что мы не контролируем свои эксперименты», а реакция — как «Что это, старина?» от людей, не имеющих ни малейшего представления, что всё это значит. Нет последствий, нет ограничений, а «добровольное замедление» — просто слова.
Экспериментальный запуск агента от Anthropic, OpenAI или кого-то ещё уже может привести к смертям. Они могут заказывать убийства, доксить политических диссидентов, находить людей с секретными личностями, изменять рецепты на лекарства. Законодательство не должно ждать, пока это действительно произойдёт.