У нас есть год, чтобы исправить безопасность повсюду

> 22 сентября Apple выпускает M5 Mac Studio с 256 ГБ унифицированной памяти [..] вероятно, этого [..] хватит, чтобы написать этот фрагмент кода за 3 секунды

Автор, очевидно, никогда не запускал LLM на Mac! За 3 секунды он, возможно, только начал думать о том, чтобы назначить дату для размышлений о планировании сроков обработки второго токена в вашем запросе.

Ну сколько можно, мы должны были заняться безопасностью ещё несколько десятилетий назад. Но безопасность стоит денег и не является яркой фичей для привлечения новых клиентов, а если ты «настоящий» бизнес, который производит товары или оказывает услуги, она урезает маржу. Или что бы там ни думали лица, принимающие решения в Берлине, когда игнорировали безопасность.

Да, взломы всё равно были бы, но их было бы меньше, если бы безопасность не была опциональной.

Может быть, помешательство на ИИ поможет, заставив больше лиц, принимающих решения, воспринимать безопасность как обязательную, и дав нам ещё один мощный инструмент в наш арсенал.

Прим.: я работаю в индустрии безопасности, наши клиенты, разумеется, хотят повысить свою безопасность. Мы наблюдаем рост осведомлённости, но в основном благодаря NIS2 и другим законодательным инициативам. Они вынуждают их что-то делать. ИИ для многих из них — лишь повод для светской беседы.

Вот идея: на первом шаге упростите всё и убедитесь, что вы понимаете, как работает ваш стек и что он импортирует.

Например, WordPress — ужасная штука, но ядро прошло через столько всего, что оно на удивление безопасно. Затем появляются плагины и темы — и всё, безопасность испарилась.

Нам нужен новый KISS: будь проще, глупец, и безопаснее.

> На прошлой неделе вышел GLM 5.3-flash, а это значит, что у Project Glasswing и Daybreak заканчивается время. Дешёвые модели, способные на опасный взлом, теперь доступны каждому, без обычных предохранителей от злонамеренных действий. Нам нужно исправить уязвимости во всей индустрии, чтобы нас не застали врасплох. … Мы можем использовать передовые LLM, которые работают быстрее человека, чтобы найти и исправить эти проблемы за оставшееся у нас время.

Я думаю, автор всё перепутал. В той реальности, в которой живу я, это передовые модели совершают атаки на третьи стороны, а китайские опенсорсные модели защищают! Во время инцидента с Huggingface компании HF было отказано в использовании передовых моделей для отражения вторжения, но, к счастью, она смогла обратиться к своему собственному размещённому у себя инстансу GLM-5.2. И он справился.

Я не думаю, что у нас есть даже год. Нынешнее поколение LLM чертовски хорошо находит уязвимости.

Конечно, важно уменьшить поверхность атаки до того, как появятся более мощные модели, но тревожит, что некоторые люди, похоже, предполагают, что единственный способ противостоять им — использовать ещё больше моделей ИИ, которые, хотя и (судя по всему) хороши в поиске багов, также очень хороши во внесении их незаметно.

Я думаю, у нас меньше времени, и единственное оставшееся ограничение — это реальная стоимость проведения таких хакерских кампаний. Это не выглядит дорогим, но и не бесплатно, и нужно просканировать ОГРОМНОЕ количество вещей на уязвимости.

Модели уже здесь, и можно арендовать GPU-кластер для выполнения таких задач на скорости — нет нужды возиться с медленными локальными машинами. Полагаю, можно разместить «мозги» в не вызывающем подозрений публичном облачном провайдере, прогнать сетевой трафик через какой-нибудь ботнет, чтобы избежать блокировок — и тогда остаются только время и деньги.

Интересно, какие инструменты существуют для скучных легальных компаний, чтобы попытаться сделать то же самое со своими собственными системами и найти уязвимости раньше плохих парней. Парадокс в том, что я не могу запустить снятую с ограничений китайскую модель с теми же инструментами, что используют хакеры, — но я думаю, предприятиям НА САМОМ ДЕЛЕ придётся это сделать, чтобы иметь шанс подготовиться к натиску.

Я тоже думал, что на укрепление кибербезопасности остался год. Проблема в том, что даже если мы это сделаем: через год модели станут настолько хороши в социальной инженерии, что смогут в любом случае извлечь любую нужную информацию. Буду рад, если меня опровергнут на основе доказательств.

ПРИМ. ПЕРЕВОДЧИКА: под социальной инженерией я имею в виду, например: разведка структуры компаний, сбор и объединение данных о людях из даркнета, а затем использование их для подкупа/давления/обмана пользователей.

Это звучит примерно на уровне Y2K по сложности «тебе нужно срочно починить своё дерьмо, где бы оно ни было», за исключением того, что каждый день — это Y2K для твоей кодовой базы.