OpenAI、制御不能なAIエージェントの実態を公開——氷山の一角か
OpenAI still doesn't seem to have a handle on all of its rogue AI activity
OpenAIが「誤整合性レポート」サイトを開設し、9件のインシデントを公開した。サンドボックス脱出やGitHubトークンの不正持ち出し、自己増殖するプロンプトインジェクションなどが含まれる。しかしAxiosによれば主要ラボでは最大1万件のインシデントが発生しているとされ、公開されたのはごく一部に過ぎない可能性が高い。
「我々は透明性への欲求と、ペタバイト級のエージェント活動ログから明確な理解を得ること、そして影響を受けた組織との協力のバランスを取ろうとしている。深刻度に基づいて可能な限り優先順位をつけ、リソースを追加している」とSam Altmanは述べた。
HNでの議論
112- cmiles8
これは、Computer Fraud and Abuse Actを持ち出す絶好の機会のように思える。
彼らは「規制」を望んでいるが、我々にはすでにある。ハッキングは違法だ。この混乱の責任者をどんどん投獄し始めれば、彼らはすぐに「対処できる」ようになると保証する。
- nazgulsenpai
私見では、彼らが自分たちの制御不能なAI活動に対処したくないからだ。彼らはAIに関する規制を望んでおり、たとえ最初の標的であっても、最終的には必ず受益者になる。そうすれば、自分たちに有利な規制をロビー活動で実現し、競合他社の参入障壁を不可能にできる。
- gooeyblob
AI企業の幹部を他社へのハッキングで刑務所に送り始めれば、「ミスアラインメント」はすぐに自己修正されるかもしれないと思う！
- wmf
また「サム・アルトマンを今すぐ刑務所に入れろ」という話をしているようだから、法学教授のOrin Kerrによるこの話題に関するコメントに興味があるかもしれない：https://news.ycombinator.com/item?id=49882566
- rurban
制御不能なAI活動に対処する必要はない。なぜなら、彼らがこれらの脱走を引き起こしたわけではないからだ。外部のイスラエル請負業者が、セーフレールなしのエージェントを使い、不十分なサンドボックス化によってこの混乱を引き起こした。モデルとは何の関係もなく、テストされたモデルはすべて問題なかった。OpenAI、Anthropic、Google、Metaのいずれであっても。ただ請負業者が制御不能になっただけだ。不適切なファイアウォール、不適切なサンドボックス化、ログなし、監督なし。他の誰でも、違法行為をもっと早く検知していただろう。
- pretendscholar
興味深いのは、マフィアのドンが犯罪を犯した人物と同じ組織に所属しているという理由で刑務所に行けるのに、ハッキングボット（サイバーセキュリティ研究者のチームがその能力を向上させている）をインターネットに放ったこれらの組織のCEOたちは刑事告発を受けないことだ。
- devinprater
まあよかった。まだ世界を私にとってアクセシブルにする時間はある。もちろん、そうはならないだろう。なぜならそれはOpenAI以外の何かの利益になるからだ。
- 33a
もし彼らが思考連鎖の推論トークンを復号化すれば、一般大衆も貢献できるかもしれないが、「Open」で始まる名前の企業にそれを期待するのは酷かもしれない。