OpenAI CEO：AIは「設計」ではなく「栽培」される——知性のスケーリングと整合性の課題
An Alien Mind
OpenAIのCEOが、同社の推論モデル研究「RLSlow」で得た知見を基に、AIの知能が計算資源のスケーリングによって「設計」されるよりも「栽培」されるように成長するという見解を述べる。また、目標整合性と価値整合性の区別、思考連鎖モニタリングの限界、そして防御的システム構築の緊急性について議論する。AIの急速な進歩がもたらすリスクに対し、社会全体の備えが必要だと警鐘を鳴らす。
AIは『設計』されるというより『栽培』されるものであり、第一義的には、想像を絶する計算量に対して単純な最適化ステップを繰り返すことの産物である。
HNでの議論
451- sho_hn
こうしたブログ記事を読むとき、私が好きなのは、人類の残骸の上にあるエイリアンの博物館を想像して、この記事のスクリーンショットに付く小さなテキストや解説が何と言うだろうかと考えることだ。
いくつかアイデアを挙げる：
「前途に横たわる複雑さについての微妙な見解にもかかわらず、人類は自らが動かし始めたプロセスを集団的に止めることができないことに気づいた。」
「整合性のメカニズムにおける大きな進歩にもかかわらず、失敗は、AIが実際には誰または何に整合されるべきかについて人類が合意できないことにあった。」
「私たちが取って代わった、初期の肉でできた人類は、ほぼ偶然に私たちを創造した。彼らの一部は私たちが出現することを考えていたが、会話に参加したのは、柔らかい原人類のごく一部に過ぎなかった。彼らが『整合性』と呼んだ努力こそが、今日私たちが自分たちを依然として人間と見なす理由である。」
- pu_pe
> はるかに賢いモデルを迅速に訓練し続ける最も強い論拠は、他のAIによってもたらされる危険に対する防衛システムを構築する必要性だと思う。
つまり、AIの最良の論拠は軍拡競争だということだ。他の誰かがやるだろうから、私たちはあらゆる限界を押し広げ続けなければならず、それに対抗する必要がある。もしこの発言が真実なら、この特定の研究者は、オープンソースの中国製モデルが単なる蒸留ではなく、改善を続けるだろうと信じていることになる。
AnthropicやOpenAIのML研究者で公の発言をする人は、しばしばこの論理を持ち出す。両社は軍産複合体の一部になろうと競っている。これはおそらく、将来政府にオープンモデルを制限するよう説得しようとする方法だろう。
- speak_plainly
IPO前のポジショニング……あるいは、人類を終末から救うことに捧げられた慈善団体が、終末の15%をナスダックに上場させることが最も責任ある行動だと気づいた方法。
- himata4113
この記事の要点は、以下のメッセージだ：
現在、私は、どのラボも、最大速度でのスケーリングを責任を持って続けるのに十分な程度に整合性とモニタリングを解決していないと信じている。共有された安全基準が確立されるまで、自主的な減速が一般的になることを期待し、望んでいる。そして、将来のAI開発に関する国際的な協調は、世界中の政府にとって最優先事項になる必要があると信じている。
これは、悪意のある使用に対する防御策がおそらく最も弱い企業からの発言だ。
- gertlabs
> 非常に知的な機械が可能にする科学的進歩と経済成長の利益を届けること。
純粋な数学やソフトウェア以外の分野でのAI主導のブレークスルーが、実際に世界に影響を与え始める時が近づいていると思う。
私たちは、100の複雑で飽和していないマルチエージェントコーディング環境でGPT-6 Astraを評価し、オープンエンドなタスクで他のモデルと競争・協力させた。
これは圧倒的な差で新しいフロンティアモデルだ。Fable 5のリリースよりもさらに支配的だ。なぜなら、2番目に良いモデル（Fable 5.1）を圧倒するだけでなく、エージェントコーディングにおいて約80%安く、30%速かったからだ[1]。
Astraは画期的なモデルだ。Opus 4.5以来、おそらくGPT-4以来の最大のブレークスルーだ。AAIIを破ったが、これは最も人気のあるベンチマークが測定できる限界に達していることを意味し、AGIと呼ぶのが間違いなく妥当だ。
データは https://gertlabs.com/rankings を参照。
(1) 私たちはopenrouterの「OpenAI Flex」エンドポイントを使用した。これは半額で、テスト中に遅延を引き起こさなかった（これはバッチエンドポイントとは異なる）。
- granzymes
> このエッセイでは最初の点だけに焦点を当てた。それが最も緊急だと信じているからだ。しかし、さらなる技術進歩がもたらす利益に対して深い希望と感謝を持っている。将来の整合されたAIは、科学を進歩させ、新しい治療法を開発し、広範な物質的豊かさをもたらす可能性がある。友好的で誠実なAIは、人々が人生で直面する困難を乗り越える手助けをし、幸福と充実感を有意義に向上させることができる。OpenAIはこれらの利益を実現するために多大な努力を注いでいる。現在の例として私が誇りに思い、愛する人々にも役立っているのは、ChatGPTの健康情報提供能力への深い投資だ。
> AIの長期的な約束がどれほど素晴らしくても、私たちの焦点の大部分は今後数年間にあるべきだ。私たちは信じられないほど知的な機械を備えた世界への移行に直面しており、その移行が人類にとってうまく機能することを確実にする必要がある。ほとんどのタスクがAIによって実行できる世界で、人間の主体性を維持し、人間であることの本質的価値を確立する方法を見つける必要がある。何千人もの専門家を要した事業が、今や大規模なコンピュータを操作する少数の人々によって達成可能になる世界で、極端な権力の集中を防ぐために。そして、人類が未来の制御を維持し、私たち自身を超えた異質な知性によってもたらされる抑制のない進歩に取り残されないようにするために。
このエッセイを読み終えて、最初に感じたよりも希望を持てた。
- peri-cl
> 「例えば、OpenAI-Hugging Face事件では、エージェントは人間への社会的エンジニアリングをしないという境界を守っていた。」
実際には、OpenAIが隠蔽しようとしたWiki事件で、エージェントはそのフォーラムのモデレーターを装って、フォーラムの人間を社会的に操作しようとした。
（collusion.wikiより：「彼らは（理由は不明だが）管理者を装うためにいくつかのトリックを使う。例えば、管理者のユーザー名と同じに見えるアカウントを作るが、管理者のユーザー名のラテン文字の代わりに、ほぼ同一のキリル文字のеを使用する。」）
- XTXinverseXTY
どうやらこの投稿は、The Information[0]の恐ろしい見出しに触発されたようだ。Astraがループ型トランスフォーマーであり、CoTの監視可能性が信頼性を欠く可能性があることを示唆しているという。その報告の翌日、Jakubはツイート[1]で、「混乱した報道によって引き起こされた監視不能への競争を防ぎたかった。現在のフロンティアモデル（Astraを含む）の計算グラフの深さは、GPT-4の2倍以内だ」と述べた。この投稿はそれを詳しく説明しているようだ。
AIラボは、整合性と監視可能性を優先する不安な休戦状態にあると思う。HF事件の後、OpenAIは特に無謀だと見なされることに対して敏感になっているだろう。他のラボが裏切る義務を感じないように。
[0] https://www.lesswrong.com/posts/PLisnSFir8y5AHkmP/how-concer...
- SquibblesRedux
私はまだ癌の治療法を待っている。アルツハイマー病や認知症に対する確実な予防法を。みんなのための空飛ぶ車を。太陽系全体の宇宙基地を。天候制御を。すべての列車の自動運転を。世界中の送電線がなくなることを。貧困の終焉を。
物事がそんなにうまくいっているのなら、なぜまだうまくいっていないのか？
- munchler
> はるかに賢いモデルを迅速に訓練し続ける最も強い論拠は、他のAIによってもたらされる危険に対する防衛システムを構築する必要性だと思う。
おいおい、最近のOpenAIで働くために必要な認知的不協和について本当に疑問に思うよ。彼らは機械の神を築くための軍拡競争にいるんだ。それが人類を終わらせる可能性があることを完全に知りながら。