AI研究者が激論、再帰的自己改善は目前か
AI researchers debate how close we are to recursive self-improvement
Dwarkesh PatelがJohn Schulman、Beren Millidge、Charlie O’Neillと、2036年までに超知能が実現しない技術的理由を議論。Moravecのパラドックス、sim-to-realギャップ、継続学習の欠如、RLの限界などが焦点に。一方で、チェスAIのEloスコアの線形増加が人間を超える瞬間の不連続性を例に、自己改善の急加速の可能性も指摘。規制が最大の障壁になるとの見方も。
「チェスボットのEloスコアは1980年代から時間とともに非常に線形に増加している。しかし、人間の範囲を超える瞬間に巨大な不連続性がある。人間の専門家が常にAIに勝っていた状態から、決して勝てなくなる状態へと、この線形なEloの増加の中で起こるのだ。」