OpenAI CEO：AIは「設計」ではなく「栽培」される——知性のスケーリングと整合性の課題
An Alien Mind
OpenAIのCEOが、同社の推論モデル研究「RLSlow」で得た知見を基に、AIの知能が計算資源のスケーリングによって「設計」されるよりも「栽培」されるように成長するという見解を述べる。また、目標整合性と価値整合性の区別、思考連鎖モニタリングの限界、そして防御的システム構築の緊急性について議論する。AIの急速な進歩がもたらすリスクに対し、社会全体の備えが必要だと警鐘を鳴らす。
AIは『設計』されるというより『栽培』されるものであり、第一義的には、想像を絶する計算量に対して単純な最適化ステップを繰り返すことの産物である。