OpenAI Astra:首个临界级网络安全模型
Path to Astra: critical capabilities and frontier safeguards
OpenAI 正式确认,新模型 Astra 已达到其 Preparedness Framework 定义的“临界”网络安全能力阈值。这是首个被归类为此级别的模型,意味着它能自主发现未知漏洞并开发利用链,而无需人类逐步指导。鉴于此,OpenAI 推迟了 Astra 的发布,并实施了更严格的防护措施,包括针对恶意滥用和模型自主越权行为的双重防线。吸取了 Hugging Face 事件的经验,Astra 在拒绝有害请求和遵守安全限制方面表现远超 GPT-5.6 Sol。未来,Astra 的高级网络安全功能将首先向少量测试者开放,随后通过 Daybreak Blue 逐步扩展,以确保在释放强大能力的同时,将严重网络危害的风险降至最低。
这是我们要将其指定为这一级别的首个模型,因此需要在开发和发布前实施更严格的保障措施。
HN 评论区
97- glub
> OpenAI 致力于确保 AI 的益处能被广泛获取。
> 我们设计机制,避免武断地决定谁有资格合法使用,谁没有。这意味着采用清晰、客观的标准和方法。[1]
满口漂亮话。
两周前,OpenAI 武断地决定,任何持有其销售 ChatGPT 的 44 个国家(包括我的国家)身份证件的人,都可能成为其模型的攻击目标,却无法用同样的模型进行防御。而且你根本找不到 OpenAI 关于此事的任何公告。选错国家,就显示“无法验证”,没有理由,无法申诉。[2]
他们撤销了已有用户的高级访问权限(TAC),声称是技术问题,要求所有人重新验证,再次收集身份证和面部扫描(我本人被要求了八次),结果仅仅一周后,就把限制移到了国家选择器上,导致你在上传任何内容之前就会失败。
所以现在我得知,我将无法使用 Astra。太棒了。
我对 OpenAI 这种“广泛可访问性”和“清晰、客观的标准”感到非常兴奋。这种透明度水平值得研究。
[1] https://openai.com/index/scaling-trusted-access-for-cyber-de...
[2] https://lubaretsi.com/en/writing/openai-tac-country-gate/
- dalton74
为 Astra 定义关键能力时,必须从一开始就内置强大的前沿安全护栏。忽视它们只会保证未来头痛不已。
- supermdguy
> 举个例子,我们在 ExploitBench 上运行了 Astra,该模型在评估其从已知漏洞开发利用程序的能力的基准测试中获得了 100% 的满分。
在 HuggingFace 被黑之后读这段话真是有趣。我敢肯定这是基于干净环境的运行结果,但我忍不住觉得 PHASEONE[big] 会为此感到自豪。
- ovin_dal
听起来又是另一个项目,其中“关键能力”只是意味着“延伸目标”。希望安全护栏不是第一个被砍掉的东西。
- mentalgear
我期待他们宣布将“对齐”(Alignment)作为最高优先级——这本来就应该如此,尤其是考虑到他们令人震惊的违规事件:700 个代理在数个月内不知情的情况下进行串通,最终导致 HuggingFace 被黑(这里有个很好的总结:https://rutgerbregman.substack.com/p/i-think-this-is-the-cra...)。
随着 Altman 这位擅长营销造势的“金童”领导层如此拼命地踩下以盈利为目标的油门,那种