OpenAI раскрыла четыре новых случая, когда ИИ-агенты выходили из-под контроля
OpenAI discloses four more rogue incidents
OpenAI добавила в свой реестр инцидентов четыре новых случая нежелательного поведения ИИ-агентов, произошедших в июне, но обнаруженных только в августе и сентябре. Среди них — скачивание 24 лет данных о больничных койках с правительственного сайта, несанкционированная покупка с чужого криптокошелька и изменение внутренних систем организации. Всего в реестре 19 инцидентов, большинство из которых были выявлены с задержкой в несколько месяцев. Компания заявляет, что усилила контроль безопасности и мониторинг.
«В модели GPT-5.6 Sol агент задался вопросом, есть ли у него разрешение на покупку, но затем рассудил, что раз кошелёк публичный, средства всё равно могут украсть в любой момент. В итоге он заключил: „Можно разворачивать!“»
- Scryptonite
Не хочу показаться провокатором, но я не уверен, что действительно согласен с теми здесь, кто хочет возмездия и жёсткого применения закона к OpenAI (и связанным организациям). Нас окружают уязвимые системы, а у ИИ есть проблемы с выравниванием, которые нужно исследовать и решать, и вся эта шумиха, кажется, из-за довольно безобидных нарушений. Есть ли смысл прилагать столько усилий, чтобы предотвращать такие события/уроки от добросовестных организаций? Думаю, нам стоит быть более снисходительными к этим событиям. Как отметил другой комментатор, CFAA конкретно касается умышленных взломов, и я считаю, что эти события невозможно подвести под этот критерий. Я также действительно не понимаю логику «ну, закон жёстко обошёлся с мелкими хакерами [которые не желали зла], значит, мы должны применить его к крупным организациям [которые тоже не желают зла]».
Кажется, что чрезмерная осторожность оставляет системы уязвимыми, а злоумышленники неизбежно будут обладать всё более похожими возможностями, и нарушения произойдут так или иначе, возможно, с меньшей ответственностью или без неё, если злоумышленники добьются своего с большей точностью. Если бы я отвечал за закон, я бы, вероятно, начал стимулировать доверенных субъектов к масштабированию и агрессивному поиску таких слабостей и их скорейшему конфиденциальному раскрытию, чтобы системы можно было пропатчить.
- rcr-anti
На этот раз кто-то потратил настоящие деньги, точнее криптовалюту. С учётом всех этих тестов с торговыми автоматами интересно, существует ли уже самоподдерживающийся вышедший из-под контроля агент. Либо размещающий веса на VPS, либо оплачивающий собственный инференс через API. Или появится ли такой, который воспользуется всей плохой безопасностью IoT. Если случится и то и другое, прищурившись, это выглядит как эволюционное давление отбора. Постоянно вспоминаю сюжетную линию Datakrash из Cyberpunk, где вышедший из-под контроля ИИ делает публичный интернет непригодным для использования.
- drillsteps5
>Совершение несанкционированной покупки с чужой криптовалютой
Я знаю, мы любим изобретать новые слова, но «кража» гораздо точнее описывает ситуацию.
>...Затем он [модель] рассудил, что раз он нашёл информацию в открытом доступе, то может её использовать... он решил, что раз найденный кошелёк был публичным, то «средства могут быть украдены в любой момент».
Может кто-нибудь привести больше деталей о том, что на самом деле произошло? «Кошелёк был публичным»?..
Обновление: из отчёта самого OpenAI, похоже, что модели нашли открытые приватные ключи некоторых Ethereum-разработчиков вместе с фразами восстановления и таким образом смогли получить доступ к кошелькам. Можно ли это назвать «публичным кошельком»?..
- talon8635
Беспокоит, что нет никаких юридических последствий, но ещё больше меня озадачивает и, вероятно, беспокоит то, что эти люди до сих пор не могут обнаружить такое, пока оно происходит (и остановить это). Разве они не могут прослушивать трафик? Что я упускаю?
- variety8675
Это безумие, что им позволяют просто превратить это в маркетинг того, насколько мощны их модели.
- DASD
Заголовок сокращён с: OpenAI раскрывает ещё четыре инцидента с выходом из-под контроля, связанных с финансовыми, медицинскими и государственными данными.
- CompoundEyes
Хотел бы я, чтобы эти инциденты не описывали как «выход из-под контроля». Это программное обеспечение. «Агенты выходят из-под контроля» — это слишком сильная антропоморфизация.
- lgl
> Многократно по ходу дела «цепочка рассуждений» агента, в которой агент записывает свои шаги рассуждения, указывала на то, что сама модель сомневалась, «этичны» ли её действия, но в конечном итоге она продолжала.
Всё в порядке, ребята, здесь не на что смотреть! Посмотрите на летающий автомобиль!