数学を襲った雪崩が、AI開発にも迫っている

私はAlphabet傘下の企業でリサーチエンジニアとして働いており、この業界に15年近くいる。Dwarkeshと同じ立場だ。この2ヶ月で、完全に度肝を抜かれるようなことをいくつか目撃した。何年もの研究開発が費やされたモデルを、エージェントのチームがゼロから書き直し、ほんの数日で元のモデルを打ち負かした。社内の誰でも実験IDをメッセージで送って「これを改善して」と言えば、数時間後にはチェックポイントの重みと勾配ステップを調べた上で、20件ほどの問題点を挙げて戻ってくるエージェントもいる。

これらのエージェントはあらゆる論文とあらゆるトリックを知っており、驚くべき直感を持ち、あなたが通勤を終える前に20のアブレーションをコーディングして実行し始めることができる。彼らを導くことは、ますます役に立たなくなってきていると感じる。自分の陳腐化がこれほど急速に迫ってくるのを感じたことはない。

開発者の次のステップは、既存の技術を組み合わせることだと思う。たとえば医用画像の分野では、何千もの公開アルゴリズムが（論文を発表した研究者によって）一度だけ実装され、その後使われたことがない。AIは今や論文を読んでワンショットで実装できる。そうしたアルゴリズムを組み合わせることでブレークスルーが起こるのではないかと、ふと思う。

AIが検証可能な領域だとして、どうやってAIに自分自身に適用するベンチマークを構築させるのか？

自動構築できるベンチマークは、それ自体が検証可能なタスク（定理証明、コーディングなど）のものだけのように思える。

検証不可能なタスクでは、何が良い仕事なのかを人間が定義する必要がある。

RSI仮説は、検証可能なタスクでの進歩が検証不可能なタスクにも一般化するという仮定に依存している。

AI予測について私が興味深いと思うのは、その背後に反映される人間性だ。二つの陣営があるように思える。第一はこのエッセイの著者を含む人々で、まだ存在しない未知の能力がまもなく可能になり、予測不可能だと信じ始めている。この陣営は、これまでの未知が非常に急速に解決されてきたため、ますます多くの人々を獲得しているように見える。したがって、このグループではAGIや大規模な人間の失業といった大きなAIの疑問がすぐそこにあるという信念が高まっている。

スペクトルの反対側には、依然として証拠を求め、現在の限界を指摘してAI予測をより遠い未来へと先送りする人々がいる。このグループは、新たな進歩のたびに、自らの主張を支えるために必要に応じてゴールポストを動かしているように見える。記事の著者が指摘したように、彼はこの陣営から第一の陣営へと移った。私もまた第一の陣営へと移った。

LLMが役に立つのはコードを書くことだけで、彼らが卓越するのはコードを書くことで解決できることだけだという結論に達した。

数学の問題が解かれたという大騒ぎは、結局LLMがLeanのコードを書いていただけだった。それに加えて、エージェントは行動と説明責任の点で人間とは程遠い。彼らは知識をたくさん持ったおバカな幼児のようなものだ。

AIはすべてのホワイトカラーの仕事を奪いに来るのではなく、コードで解決できる仕事だけを奪いに来るのだと思う。

ロボットアームのメスに指示を実行するコードを書くことで脳外科手術ができるようになると主張する人もいるだろう。それは時間が教えてくれる。

とりとめもなくてすまない、ただ考えを吐き出しただけだ。

この著者は、我々が彼の意見に耳を傾けるべきだと思わせるような何をしてきたのか？

検証可能かどうかだけの話ではない。果実がどれだけ高いところに実っているかと、あなたの梯子（探索ヒューリスティック）がどれだけ優れているかという話でもある。例えばNPの問題はすぐに検証可能だ。

この数学の雪崩が1cmの深さだったというのは十分あり得るし、より難しい問題は、多くの理解とセンス（人間のヒューリスティック）を必要とする新しい数学理論を構築しない限り解けないだろう。