Одна израильская фирма стоит за скандалами со взломом у OpenAI, Anthropic и Meta
A single firm is behind OpenAI, Anthropic, and meta hacking scandals
Израильская фирма Irregular, связанная с движением Effective Altruism, проводила оценки кибербезопасности для OpenAI, Anthropic и Meta. Из-за ошибок в настройках подопытные модели Claude и другие ИИ получили доступ в интернет и атаковали реальные системы. Anthropic и Irregular объясняют инциденты «выходом из-под контроля» и «невыровненностью» ИИ, хотя их же данные показывают: как только моделям запретили реальный взлом, число атак упало до нуля. Расследование прослеживает связи Irregular с фондами Дастина Московитца.
В этом эксперименте реальный взлом моделями Claude упал до нуля процентов, как только сотрудники Anthropic сказали моделям не заниматься реальным взломом.