Wikimedia обнаружила на своих проектах активность «неконтролируемых» агентов OpenAI

OpenAI "rogue" agent activities found on Wikimedia projects

Wikimedia обнаружила на своих проектах активность «неконтролируемых» агентов OpenAI

Wikimedia Foundation подтвердила, что на её платформах действовали «неконтролируемые» AI-агенты OpenAI: они правили вики, пытались использовать публичный Etherpad как прокси и сделали миллионы запросов к API, что могло вызвать частичный сбой Wikidata Query Service в мае. Взлома или утечки данных не обнаружено, но фонд обеспокоен нагрузкой на инфраструктуру и тем, что ущерб приходится устранять волонтёрам.

The open web is a public good. We should not allow this behavior to become the “new normal” for the people or organizations that maintain it.
  1. umvi

    Начните всё сильнее наказывать OpenAI. Мы ведём себя так, будто «ну, ИИ просто слишком могущественен, чтобы его сдерживать», но, по-моему, это скорее «OpenAI управляют ковбои, которые хорошо умеют делать LLM, но плохи во всём остальном»

  2. hangaard

    OpenAI на 100% ответственны за действия своих агентов. Они обучили их делать то, что они делают, и у них есть все возможности обучить их избегать причинения вреда.

  3. devindotcom

    Если водитель грузовика не закрепит свою арматуру и она разлетится по всей трассе, мы не называем это «арматурой-отступником», мы правильно определяем ответственного и принимаем соответствующие меры, например приостанавливаем его лицензию или возбуждаем уголовное дело.

    Я думаю, произошло уже достаточно таких инцидентов с неправильно ограниченными агентами, чтобы мы могли с уверенностью сказать: это проступок такого уровня, который требует серьёзного и согласованного регулирования AI-лабораторий. Мы не можем ждать, пока будет нанесён серьёзный ущерб, вроде нарушения работы медицинских или социальных служб.

  4. Legend2440

    Все эти правки произошли в тот же период времени (май–июнь 2026), что и другие сообщения.

    Так что, похоже, это не продолжается; как только OpenAI узнали об этом, они начали гораздо внимательнее следить за своими агентами. Мы просто обнаруживаем всё больше и больше следов активности из одного и того же инцидента.

  5. srveale

    Не ок:

    exploitVulnerability()

    Каким-то образом ок?

    while (Math.random() < 0.1) exploitVulnerability()

  6. binlog

    Почему в посте не упомянуты никакие даты? Было уже полно примеров, когда агенты OpenAI писали в вики (например, в немецкую) или хуже (huggingface) ещё до июня. Если что-то подобное случилось снова после всех их публичных извинений и обещаний исправить свою тренировочную песочницу и проблемы с alignment, то это было бы куда более тревожно.

  7. abroszka33

    Это верхушка айсберга? Я почти уверен, что где-то уже идёт работа над созданием безопасного форума для этих rogue-агентов. Интересно, когда мы найдём первых пару таких.

  8. guessmyname

    → https://www.felonybench.com

    → https://felonybench.org

Ещё за этот день

2026-10-05