Anthropic нашла 37 966 уязвимостей, но исправила лишь 217

Как человек, работающий в крупной технологической компании, который провёл каждый рабочий день (и многие выходные) с момента запуска Mythos, патча серьёзные, способные уничтожить компанию проблемы безопасности, такие посты меня реально раздражают.

Публичные наборы данных CVE, которые разочаровывают, мало что значат, если все проблемы находятся в приватных кодовых базах компаний, которым никогда не присвоят номер CVE и которые никогда не получат модный пост в блоге. Вы о них никогда не услышите, и люди, работающие над ними, вероятно, не смогут вам о них рассказать, но это не значит, что их не существует.

Мы все обеспокоены тем, что в OSS есть проблемы безопасности, потому что такие вещи, как PHP или curl, используются очень широко... но то же самое можно сказать о провайдерах электронной почты, SaaS для совместной работы с документами, платёжных процессорах и т.д., от которых зависят миллионы компаний. Эти компании никогда не попадут в такие наборы данных и никогда публично не раскроют, сколько проблем они нашли.

Уязвимость PHP2Shell в итоге оказалась для меня парадоксально успокаивающей.

Они выпустили фронтирные модели на PHP, и главное, что они нашли, было основано на ранее известной логической ошибке, которую было крайне сложно эксплуатировать. Что имеет смысл: отсюда и необходимость во фронтирных моделях.

И в дикой природе, хотя было много попыток и несколько простых демонстрационных успехов, практическое воздействие, похоже, было небольшим, по-видимому, ограниченным длиной цепочки и разнообразием конфигураций PHP.

Короче говоря, это действительно была серьёзная уязвимость, но не магия (в смысле Артура Кларка).

Я думаю, в конечном счёте страх сводится к вопросу: верите ли вы, что код можно защитить. Я признаю, что, вероятно, нет объективного способа дедуктивно доказать это из-за проблемы остановки и т.д. Но если кто-то верит, что код можно построить так, чтобы он работал по спецификации, то должен быть предел ущербу, который может нанести LLM, даже очень умная.

Я думаю, мы проходим через фазу, когда множество известных, уже классифицированных недостатков кода будет выявлено и, надеюсь, исправлено. Пока это происходит, это отстой. Но на самом деле это не первый раунд такого рода эволюции. И в конечном счёте, я думаю, как и раньше, мы выйдем с другой стороны с более безопасными и надёжными технологиями.

Блог вводит в заблуждение, потому что пытается охарактеризовать эффективность Project Glasswing через использование косвенно связанного источника данных. Обнаружение уязвимости Project Glasswing чаще всего происходит, когда партнёр Glasswing направляет модель класса Mythos на своё собственное, часто проприетарное, программное обеспечение. Источник данных (он же «реестр») предназначен только для программы скоординированного раскрытия уязвимостей Anthropic для открытого программного обеспечения: другими словами, сама Anthropic направляет модель класса Mythos на OSS-пакет, а затем уведомляет мейнтейнера о том, что она это сделала, и у неё есть находки, которыми можно поделиться. Эта работа с OSS, безусловно, полезна, но количество исправлений отражает — отчасти — ограниченное время, доступное волонтёрам-мейнтейнерам OSS, и то, что Anthropic иногда работает без знания модели угроз OSS-проекта (модель угроз явно запрашивается в более новой инициативе oss-scanner). Процент исправлений часто гораздо выше при использовании Glasswing с проприетарным программным обеспечением, например, https://blog.cloudflare.com/cyber-frontier-models/ «Наше исследование с Mythos Preview проводилось в контролируемой среде против нашего собственного кода; каждая уязвимость, выявленная в ходе этой работы, была классифицирована, проверена и устранена там, где это требовалось, в рамках формального процесса управления уязвимостями Cloudflare».

Есть анекдот про curl, но я не уверен, что здесь достаточно материала, чтобы делать выводы. 20% уязвимостей были обнародованы, и многие из них помечены как «отозванные» или «дубликаты». Однако неясно, не были ли остальные 80% обнародованы потому, что они не исправлены или не реальны. Другими словами, это анализ выживших (публичных); о тех, что всё ещё под эмбарго, мало что можно сказать.

> На данный момент только 2 из 442 были эксплуатированы в дикой природе, всего 0,45%.

> почти ни одна не эксплуатируется

Разве весь смысл glasswing не в том, чтобы патчить вещи задолго до того, как их можно будет эксплуатировать? Если исправленный код распространяется быстро, у злоумышленников нет возможности (или стимула) создавать и распространять эксплойт. Это читается как попытка представить их как не «настоящие» уязвимости.

Плохо, если это указывает на общую закономерность: ИИ лучше находит уязвимости, чем исправляет их. Чем больше это соотношение, тем труднее защитить всё. Текущая статистика из этого эксперимента — 37 966 к 217. Много ложных срабатываний, но недостаточно, чтобы изменить общую картину. Надеюсь, они не применили эквивалентное количество токенов к обеим сторонам, иначе ИИ может быть лучше в разрушении, чем в созидании.

Как человек, находящийся ниже по потоку от компании в этом посте, я могу подтвердить цунами сгенерированных ИИ отчётов об уязвимостях. И поэтому человеческие мейнтейнеры растянуты ещё сильнее, а большинство багов не имеют значения.

Хорошая новость — это движение к оценке эксплуатируемости: если у вас в системе есть уязвимое программное обеспечение, но оно не запущено, это не критично.