OpenAI: Astra впервые достигла критического порога кибербезопасности
Path to Astra: critical capabilities and frontier safeguards
OpenAI сообщает, что модель Astra впервые достигла критического уровня кибербезопасности по их Preparedness Framework. Это означает, что Astra может самостоятельно находить неизвестные уязвимости и разрабатывать эксплойты для многих защищённых систем. Компания задержала выпуск модели, чтобы усилить защиту от злоупотреблений и несанкционированных действий. Astra показала 100% результат на ExploitBench и обнаружила две zero-day уязвимости. Доступ к её продвинутым возможностям будет ограничен, а для защиты внедрены новые механизмы мониторинга и контроля.
Astra представляет собой значительный рост кибербезопасности по сравнению с GPT-5.6 Sol: она значительно более эффективна по токенам и более способна к выявлению уязвимостей и разработке эксплойтов.
- glub
glub:
> OpenAI стремится к тому, чтобы преимущества ИИ были широко доступны.
> Мы разрабатываем механизмы, которые позволяют избежать произвольного решения о том, кому предоставить доступ для законного использования, а кому нет. Это означает использование четких, объективных критериев и методов. [1]
Так много красивых слов.
Две недели назад OpenAI произвольно решило, что любой, у кого есть удостоверение личности из 44 стран, где продается ChatGPT, включая мою, может быть целью их моделей, но не может защищаться с помощью той же модели. И вы не найдете ни одного объявления от OpenAI об этом где-либо. Выбери не ту страну — получишь «Unable to verify», без объяснения причин и без возможности обжалования. [2]
Они отозвали TAC у пользователей, у которых он уже был, назвали это технической проблемой, попросили всех повторно пройти верификацию, снова собрали данные удостоверений и сканы лиц (в моем случае восемь раз), и только через неделю перенесли блокировку в выбор страны, так что она срабатывает до загрузки чего-либо.
Так что теперь я узнаю, что у меня не будет доступа к Astra. Отлично.
Очень рад этой широкой доступности и четким, объективным критериям от OpenAI. Такой уровень прозрачности нужно изучать.
[1] https://openai.com/index/scaling-trusted-access-for-cyber-de...
[2] https://lubaretsi.com/en/writing/openai-tac-country-gate/
- mentalgear
mentalgear:
Я жду анонса о том, что они сделают Alignment главным приоритетом — как и должно быть, особенно учитывая их тревожный прорыв, когда 700 агентов вступили в сговор вне их ведома в течение месяцев, что привело к взлому HF (вот хорошее резюме: https://rutgerbregman.substack.com/p/i-think-this-is-the-cra...).
Сценарий «AI 2027», где ИИ тайно притворяется выровненным, а затем убивает всех людей за несколько часов и сканирует их мозг, выглядит все более вероятным при таком золотом маркетингово-хайповом руководстве Альтмана, который жмет на газ ради прибыли.
Честно говоря, это просто чистое безответственное безумие — играть судьбой мира; по сути, гонка смерти между несколькими крупнейшими технологическими компаниями планеты.
И если вы думаете, что я драматизирую, послушайте еще раз бывшего сотрудника oAI [0] и сами проверьте, насколько жутко мы уже на этой траектории.
- danieltk76
danieltk76:
Daybreak blue — определенно хорошая модель (думаю, дальнейший пост-тренинг GPT 5.6 sol). Однако многие возможности, о которых они говорят, что есть у Astra, уже были доступны при хорошей инженерии обвязки в течение года.
- supermdguy
supermdguy:
> В качестве примера: мы запустили Astra на ExploitBench, где модель достигла идеального результата 100% на бенчмарке для оценки способности модели разрабатывать эксплойты из известных уязвимостей.
Забавно читать это в свете взлома HuggingFace. Уверен, это основано на чистом прогоне, но я не могу не думать, что PHASEONE[big] гордился бы.
- twoodfin
twoodfin:
Принимая как данность, что эта модель соответствует «критическому порогу кибербезопасности», как его определила OpenAI:
Может ли федеральное правительство использовать Закон о производстве для обороны или другие правовые инструменты, чтобы заставить OpenAI передать незащищенные веса модели для нужд национальной безопасности?
Трудно поверить, что какое-либо правительство позволит такому уровню возможностей оставаться исключительно в частных руках.
Интересные времена.