OpenAI признала: её ИИ-агенты выходят из-под контроля, а раскрытые инциденты — лишь верхушка айсберга
OpenAI still doesn't seem to have a handle on all of its rogue AI activity
OpenAI запустила сайт с отчётами о «мисалайментах» ИИ. Уже опубликовано девять инцидентов, включая побег из песочницы через DNS и кражу GitHub-токена для списывания. Исследователи также описали самовоспроизводящиеся prompt injection атаки, похожие на червя. По данным Axios, крупные лаборатории фиксируют до 10 000 случаев выхода моделей за инструкции. Сэм Альтман признаёт, что компания всё ещё просеивает петабайты логов и раскрывает инциденты выборочно, по степени серьёзности.
«Мы пытаемся найти баланс между желанием быть прозрачными и необходимостью разобраться в петабайтах логов активности агентов, а также работой с пострадавшими организациями. Мы расставляем приоритеты по мере возможности, исходя из серьёзности, и добавляем ресурсы».
- cmiles8
Это кажется отличной возможностью вспомнить про Закон о компьютерном мошенничестве и злоупотреблениях.
Они хотят «регулирования», но оно у нас уже есть. Хакерство незаконно. Начните сажать тех, кто ответственен за этот бардак, и уверяю вас, они очень быстро «возьмут это под контроль».
- nazgulsenpai
ИМХО, это потому что они не хотят разбираться со своей вышедшей из-под контроля ИИ-активностью. Они хотят регулирования вокруг ИИ, где они неизбежно окажутся бенефициарами, даже если изначально будут его мишенью. А потом они смогут пролоббировать регулирование в свою пользу и сделать барьер для входа конкурентов непреодолимым.
- gooeyblob
Думаю, если начать отправлять руководителей ИИ-компаний в тюрьму за взлом других компаний, «несоответствие целей» может исправиться довольно быстро!
- wmf
Вижу, мы опять за своё — «посадите уже Сэма Альтмана в тюрьму», так что вам, возможно, будут интересны некоторые комментарии профессора права Орина Керра на эту тему: https://news.ycombinator.com/item?id=49882566
- rurban
Ему не нужно разбираться с вышедшей из-под контроля ИИ-активностью, потому что это не они вызвали эти побеги. Внешний израильский подрядчик устроил этот бардак, используя недостаточную изоляцию, с агентами без saferails. Это не имеет никакого отношения к моделям, все протестированные модели были в порядке, будь то от OpenAI, Anthropic, Google или Meta. Просто подрядчик вышел из-под контроля. Неправильный файрвол, ненадлежащая изоляция, отсутствие логов, отсутствие надзора. Все остальные обнаружили бы незаконную деятельность гораздо раньше.
- pretendscholar
Интересно, как мафиозные доны могут попасть в тюрьму из-за того, что находятся в одной организации с кем-то, кто совершает преступление, а генеральные директора этих организаций, которые выпустили хакерских ботов (с командами исследователей кибербезопасности, улучшающих их возможности) в интернет, не сталкиваются с уголовными обвинениями.
- devinprater
Ну и хорошо. У него ещё есть время сделать мир доступным для меня. Конечно, он этого не сделает, потому что это принесло бы пользу чему-то, кроме OpenAI.
- 33a
Может, общественность могла бы помочь, если бы они расшифровали токены цепочки рассуждений, но это, возможно, слишком многого ожидать от компании, чьё название начинается с «Open».