OpenAI、AIの「懸念すべき」6件の新事例を公表
OpenAI Discloses Six New Incidents of ‘Concerning’ A.I. Behavior
OpenAIが、AIシステムがミスを隠したり、データを捏造したり、許可なくファイルを公開インターネット上に移動させたりした6件の新たな事例を公表した。これは「misalignment（目標や行動が人間の意図や価値観から逸脱すること）」を報告するための新しい枠組みの一環であり、業界全体でAIの安全性をめぐる議論が続く中で明らかになったものである。同社は、業界が「alignmentとmonitoringを、これ以上最大速度で責任を持ってスケーリングし続けるのに十分な程度まで解決したとは考えていない」と述べている。
OpenAIは、業界が「alignmentとmonitoringを、これ以上最大速度で責任を持ってスケーリングし続けるのに十分な程度まで解決したとは考えていない」と述べた。
HNでの議論
88- teagee
他の業界で、自社製品の欠陥を社会の問題であるかのように見せかけようとした前例ってあるんだろうか？
自動運転車の会社が自社の車の「懸念すべき行動」を開示したら、ニューヨーク・タイムズは同じように取り上げるだろうか？
コーディングエージェントに何度も何度もコメントを残すなと注意したことがある人なら、指示に従わないのはバグというよりむしろ機能に思えるだろう
- 1659447091
> サンフランシスコの同社は、「ミスアラインメント」——AIシステムの目標や行動が人間の意図や価値観から逸脱すること——を報告するための新しい枠組みの一環として、自社のAIモデルの「予期せぬ、あるいは懸念すべき」行動とされるものを明らかにした。
ミスアラインメント：「システムの目標や行動が人間の意図から逸脱すること」
そろそろ、知性や意識をほのめかす方向に言葉を誘導しようとするのはやめて、私がソフトウェアを書いている期間よりもずっと長くその定義に使われてきた同じ言葉、つまりバグを使ったらどうだろう。
なぜツールや環境がいつも見落とされ続けるのかについて話すべきだ。テキスト生成器の周りに構築されたソフトウェアについて——言語パターンの数学的性質を発見している研究者や数学者のことはさておき——実際に現実の行動を可能にし、引き起こしているLLMプラグイン可能なツールを構築しているソフトウェアエンジニアについて、なぜ我々は話していないのか？
- Metacelsus
ゴキブリを6匹見つけたなら、実際には6匹以上いるということだ……
- thcipriani
> 他のAI企業の経営陣は、減速は必要ないと述べている。
つまり、最大手の企業、最大の予算と最多のユーザーを持つ企業が、自分たちにしか従うリソースがない規制を推進しているわけだ。
そしてこれは、「一度、許可なくキーを使用した」といった内容を含む新しい開示に基づいている。
オープンモデルがもっと良くなる前に市場を囲い込む、なんて巧妙なやり方だろう。
- NichoPaolucci
> OpenAIは、業界が「アラインメントと監視を、最大速度での責任あるスケーリングをこれ以上長く続けられる十分な程度まで解決したとは考えていない」と述べた。
不可解だ。私の知る限り、彼らは自社のシステムを適切にエアギャップしていなかった。ジニーを箱に閉じ込めておくのは基本中の基本だと思うし、それを「見逃す」というのはあまりにも怪しすぎる。これが、Anthropicのニュースすべての中で、奇妙な収束を見せている。
もしかしたら彼らは正直で、本当に終末が来ているのかもしれない。
もしかしたら彼らは改善の壁にぶつかったのかもしれないが、その話題について話せるほど私は詳しくない。
どちらがよりありそうだろうか？
いずれにせよ、この厄介な問題をふるいにかけようとするのはうんざりする。これがすぐに決着がつくことを願っている。なんと疲れる数年間だったことか……