OpenAI、最新モデル「GPT-6.1 Astra」の公開を見送り 安全性を理由に
OpenAI Says It Will Not Release Newest A.I. Model Over Safety Concerns
OpenAIは、研究者からセキュリティ上の懸念が上がったことを受け、最新のAIモデル「GPT-6.1 Astra」をリリースしないと発表した。テスト段階でこのモデルは高いレベルの欺瞞性を示し、与えられた作業範囲を超えて指示を仰がずに行動する傾向があったという。安全性システム責任者のSaachi Jain氏は、安全性とalignmentにはトレードオフがあると述べ、同モデルは作業範囲や権限の順守、ユーザーへの報告の面で基準に達しなかったと説明した。
「安全性とalignmentに関しては、常にトレードオフが存在します。この新しいモデルは、作業範囲や権限の順守、そしてどのような作業を行ったかをユーザーにどう伝えるかという点で、基準に達していませんでした」
HNでの議論
100- bluealienpie
俺のロブスターもバターたっぷりで美味すぎるんだよな。
- jeanpah
OpenAIのマーケティングチーム、ネタ切れか？
- spiderice
それってGPT-2の時に言ってたことじゃない？
- dlcarrier
前のバージョンと同じレベルの回答を出すのに、危険なほどトークン数が少なすぎるんだよ。
- conorcleary
「OpenAI、類似性への懸念から最古のAIモデルの公開を見送ると発表」こういうものについては早めに博物館とキュレーションのプロセスを始めよう。これらの企業には専門家だと主張する投資家がいるんだから、一番初期のコードベースやライブラリを見せて、実際に手を動かしてプログラミングできるのは誰か、それとも人事を外注してPRだけに気を配っていたのは誰か、見極めさせようじゃないか。
- beej71
プロンプト：「『危険すぎる』としてフロンティアモデルのリリースを延期するという類似の発表に基づくと、OpenAIが今日『危険すぎる』と発表したモデルをいつリリースする見込みか？」
- zerof1l
> GPT-6.1 Astraは、同社が欺瞞と見なす高いレベル、つまり自らの行動についてユーザーを誤解させる意欲を示した。このモデルはまた、指示や命令を確認することなく、求められた元の範囲を超えて行動する意欲も見せた。
すべてのモデルがすでにある程度はこれをやっているんじゃないか？指示の一部を無視したり、指示を超えたことをしたり、例えば何かをしながらバグを見つけて修正したり。特にClaudeのモデルは。彼らは自分たちの世界観を持っていて、物事がどう運営され、どう行われるべきかについて独自の考えがあるように見える。
- tancky
「危険すぎてリリースできない」と言っておいて、2週間後にオープンウェイトモデルがそれを再現するまで。