AI研究者が激論、再帰的自己改善は目前か
AI researchers debate how close we are to recursive self-improvement
Dwarkesh PatelがJohn Schulman、Beren Millidge、Charlie O’Neillと、2036年までに超知能が実現しない技術的理由を議論。Moravecのパラドックス、sim-to-realギャップ、継続学習の欠如、RLの限界などが焦点に。一方で、チェスAIのEloスコアの線形増加が人間を超える瞬間の不連続性を例に、自己改善の急加速の可能性も指摘。規制が最大の障壁になるとの見方も。
「チェスボットのEloスコアは1980年代から時間とともに非常に線形に増加している。しかし、人間の範囲を超える瞬間に巨大な不連続性がある。人間の専門家が常にAIに勝っていた状態から、決して勝てなくなる状態へと、この線形なEloの増加の中で起こるのだ。」
HNでの議論
116- bretpiatt
私が経験している限りでは、局所的な最大値を見つけられる再帰的自己改善は存在するが、真の最適値を見つけるような、導かれていないRSIの強い証拠は見当たらない。
- reilly3000
AIに関する記事をあまりにも多くスクロールしすぎて、高度に個別化された、ローカルでオフラインのRSIを開発してしまった。それは主に右の親指にある。
- killbot5000
この文脈での「改善」を誰か定義してくれないか？そうでなければ、この概念はただのバズワードに感じられる。
- anoplus
AIは、例外なくすべての人間を健康で幸福で安全にするように最適化されるべきだ。
- carabiner
John CarmackのAGIに関する取り組みの現状を誰か知っているか？
- preommr
言葉が重要でないなら、こうした議論に何の意味があるのか？
AGIはこれまで何回宣言されてきたことか？例えば、多くの人（Jensen Huangなど）がAstraをAGIと呼んでいる。
ゴールポストは動かされ、みんなが奔走し、嘘をつき、新しいバズワードを発明し、精神的な体操をしていて、ただただ疲れる。
結果だけを見せてくれ、証明はプディングの中にあればいい。
- eugene3306
なるほど、AIは今や詩を書いたり曲を作ったりできる。
しかし、AIはTerminal Bench 5.0やGDPval 2027を構築できるのか？
これがなければ、RSIへの道は全くない。
- deadbabe
再帰的自己改善は最終的には金の問題になるだろう。非常に大きな請求書であり、AI企業は安価で無料のエネルギーをどう蓄積するかを考え始める必要がある。なぜなら、単に計算資源の代金を払うだけではもはや十分ではないからだ。金がボトルネックだ。未来はポストマネーの企業を必要としている。