«Системы, которые никто не будет тестировать»: как ИИ-агенты находят уязвимости в госсистемах
The systems that no one will test
Автор вспоминает, как в 2020 году обнаружил уязвимость в бразильской федеральной системе, дававшую доступ к данным более 200 млн человек. Он сообщил об этом, и проблему быстро исправили. Спустя годы, на фоне агрессивного масштабирования RL-сред и инцидентов с участием моделей, включая отчёт OpenAI, он задаётся вопросом: сколько подобных сред сейчас создают передовые лаборатории и что будет с госсистемами, которые никогда не попадут на AI-пентест?
Разница в том, что когда это применяется на практике, ни в одной из попыток никто не поднимает трубку.
- Modified3019
Актуально:
https://www.reddit.com/r/YouShouldKnow/comments/1wssf4u/ysk_...
https://imgur.com/a/6FaQQhb (оригинальный пост до удаления модераторами)
>The Work Number — это база данных, принадлежащая Equifax (которая, как известно, несколько лет назад пережила массовую утечку данных), с информацией о занятости и зарплате.
>Вы можете создать учётную запись на theworknumber.com и запросить свой отчёт. Мой — семьдесят четыре страницы, и там есть информация о каждой компании, где я работал за последние 13 лет, включая каждую полученную зарплату с точной суммой (как на руки, так и до вычетов) и отработанными часами. Там есть даты начала и окончания работы, причина увольнения, детали удержаний, подключение к льготам, членство в профсоюзе и т.д. и т.п.
>Эти данные берутся напрямую из HR-платформы, которую используют ваши сотрудники (ADP, Rippling, Gusto, iSolved и т.д.). Equifax продаёт ваши данные для таких вещей, как проверка биографии при трудоустройстве.
>Вы не можете удалить свои данные из The Work Number. Вы можете заморозить свой отчёт (примерно как кредитный отчёт), но если потенциальный работодатель не сможет получить доступ к замороженному отчёту, это может стать причиной отказа.
>Зачем это знать: если вы проходите собеседование на работу, вы можете оказаться в значительно невыгодном положении, особенно при переговорах о зарплате, потому что они буквально видят, сколько вы зарабатываете, включая вашу последнюю зарплату. Кредиторы также могут получить доступ к этим отчётам.
>Это самое большое нарушение приватности, которое я когда-либо видел, и почти никто о нём даже не знает. Уж точно никто из нас не давал согласия на то, чтобы наши данные о занятости и доходах б […]
- areoform
Нарратив вокруг безопасности и LLM мне не кажется логичным.
Я думаю, мы создали самосбывающееся пророчество. Все участники действуют из лучших побуждений, но, избегая того, чего боятся, они придали форму и реализовали свои страхи. Прямо как в греческой трагедии.
Примером может служить история Эдипа. В этой истории Лаю, царю, говорят, что ему «суждено погибнуть от руки собственного сына» (и жениться на матери). И чтобы избежать этой судьбы, он решает убить младенца. Человек, которому поручено бросить его в лесу, сжалился над ребёнком и отдал его. Тем самым он обеспечил, что Эдип не знает ни своей матери, ни своего отца (и, возможно, дал ему причину убить отца).
Ребёнок вырастает и снова слышит то же пророчество, и ребёнок тоже пытается избежать пророчества, поскольку любит приёмных родителей. Поэтому он покидает их и отправляется в царство Лая, где сталкивается с Лаем. Ни один не узнаёт другого. Поскольку Лай — тот тип человека, который способен убить младенца, они ссорятся, и Эдип убивает его.
Думаю, древние что-то понимали, потому что если бы Лай отреагировал на пророчество с мужеством, он был бы спасён. Я хотел бы утверждать, что если бы он встретил свой страх лицом к лицу и воспитал Эдипа с любовью, то необходимые предпосылки для исполнения пророчества не укоренились бы. Но происходит не это.
Движимый своими неврозами и действуя жестоко из страха, Лай делает пророчество реальным.
Чтобы […]
- teiferer
> Я, честно говоря, их не виню: [...] софт есть софт
Именно такое отношение и есть проблема. Почему в нашей индустрии такое отношение к качеству? Каждая веломастерская в моём маленьком городке относится к качеству лучше, чем средняя софтверная компания в мире. Да, софт сложнее велосипеда. Но программист также получает в 10 раз больше и имеет роскошь тратить существенное время на свой продукт, по сравнению с 10 минутами, которые тратит веломастер с улицы, чтобы диагностировать и починить проблему с моим велосипедом, после чего я доверяю ему свою жизнь, когда еду через поток машин.
Нам нужно относиться к софту иначе. «Ну, это же просто софт, пожимаем плечами» больше не годится, если вообще когда-либо годилось.
- kitd
Не могу отделаться от чувства, что исходная уязвимость была намеренно внедрена как механизм для правоохранительных органов (а может, и преступных организаций), чтобы «ускорить» расследования.
- madaxe_again
Только у меня одного постоянным ручейком приходят чужие личные данные от государственных органов?
В этом году Великобритания разными способами прислала мне чужую судебную повестку, чьи-то налоговые документы (не ошибка адреса — просто случайно включили во вложения в письмах мне).
Португалия раскрыла мне информацию о налоге на недвижимость по любому субъекту через простую дыру в перечислении.
А на прошлой неделе министерство сельского хозяйства Бразилии прислало мне данные о поставках скота других людей.
Наша информационная среда невероятно пориста. От неограниченного ИИ не было бы никаких секретов.