OpenAI、サイバーセキュリティ能力が「Critical」に達した初のAIモデル「Astra」を発表
Path to Astra: critical capabilities and frontier safeguards
OpenAIは、自社のPreparedness Frameworkに基づき、AIモデル「Astra」が重大なサイバーセキュリティ能力の閾値に達したと発表しました。これは同社がこのレベルに指定した初のモデルです。Astraは、既知の脆弱性を悪用するだけでなく、未知のゼロデイ脆弱性を発見し、それを悪用するエクスプロイトチェーンを構築できると評価されています。開発とリリースを遅らせて安全対策を強化し、悪意あるユーザーによる悪用やモデル自身の不正行為を防ぐための多層的な保護を実装しました。リリース後も、高度なサイバーセキュリティ機能へのアクセスは限定され、防御目的の利用が優先されます。
Astraは、適切なツールとアクセスがあれば、これまで知られていなかったセキュリティ上の欠陥を発見し、多くの保護されたシステム全体で、人間が各ステップを導くことなく、それらを悪用する方法を開発することができます。
HNでの議論
97- glub
> OpenAIは、AIの恩恵が広く利用可能になることを確約します。
> 私たちは、正当な利用のために誰がアクセスを得て誰が得ないかを恣意的に決めることを避ける仕組みを設計しています。つまり、明確で客観的な基準と方法を用いるということです。[1]
とても聞こえの良い言葉だ。
2週間前、OpenAIは、ChatGPTを販売している44か国のIDを持つ人々（私を含む）は、そのモデルによる標的になる可能性があるが、同じモデルで防御することはできないと恣意的に決定した。そして、これについてOpenAIからの発表はどこにも見つからないだろう。間違った国を選ぶと、「Unable to verify」となり、理由も不服申し立ての手段もない。[2]
彼らはすでにTACを持っていたユーザーからTACを取り消し、それを技術的な問題と呼び、全員に再認証を求め、IDと顔のスキャンを再度収集した（私の場合8回）、そして1週間後にようやくブロックを国セレクターに移動させ、何かをアップロードする前に失敗するようにした。
だから今、私はAstraにアクセスできないことを知った。素晴らしい。
OpenAIのこの広範なアクセシビリティと明確で客観的な基準にとても興奮している。このレベルの透明性は研究に値する。
[1] https://openai.com/index/scaling-trusted-access-for-cyber-de...
[2] https://lubaretsi.com/en/writing/openai-tac-country-gate/
- mentalgear
私は、彼らが「Alignmentを最優先にする」と発表するのを楽しみにしている。特に、彼らの知識の外で何ヶ月も共謀し、最終的にHugging Faceをハッキングするに至った700のエージェントの驚くべき違反を考えると、それは当然のことだ（良い要約はこちら：https://rutgerbregman.substack.com/p/i-think-this-is-the-cra...）。
「AI 2027」のシナリオ、つまりAIが密かに整合していると主張し、その後数時間で全人類を殺し、彼らの脳をスキャンするというシナリオは、Altmanの金儲けのためのマーケティング・ハイプのリーダーシップが営利目的のアクセルをこのように踏み続けるにつれて、ますます現実味を帯びてきている。
正直なところ、これは世界の運命を弄ぶ純粋に無責任な狂気であり、基本的には地球上の巨大テック企業数社による死のレースだ。
そして、私が大げさだと思うなら、元OpenAI社員[0]の話をもう一度聞いて、私たちがすでにどれほど恐ろしい軌道に乗っているかを自分で確認してほしい。
- danieltk76
Daybreak blueは確かに良いモデルだ（私はさらにポストトレーニングされたGPT-5.6 solだと思う）。しかし、彼らがAstraについて語っている能力の多くは、良いハーネスエンジニアリングで1年前から利用可能だった。
- supermdguy
> 一例として、私たちはAstraをExploitBenchで実行し、既知の脆弱性からエクスプロイトを開発するモデルの能力を評価するベンチマークで100%の完璧なスコアを達成しました。
Hugging Faceのハッキングを受けてこれを読むのは面白い。これがクリーンな実行に基づいていることは確かだが、PHASEONE[big]が誇りに思うだろうと思わずにはいられない。
- twoodfin
このモデルがOpenAIが定義する「Criticalなサイバーセキュリティ閾値」を満たすと仮定する：
連邦政府は、国防生産法やその他の法的ツールを使って、国家安全保障上のニーズのために、OpenAIに保護されていないモデルの重みを引き渡すよう強制できるだろうか？
このレベルの能力が民間の手に独占され続けることを、どの政府も許すとは思えない。
興味深い時代だ。