AIの自律研究開発は本当に「天才的」なのか、疑わざるを得ない

LLMは独創的でも革新的でもほど遠い。今日彼らがあなたを驚かせることができる主な方法は、あなたにとって新しい情報を引き出すことだ。時々飛び出すアルゴリズムに感心するのは、単に私がコンピュータサイエンスを正式に学んだことがないからだ。しかし、私の専門分野に踏み込むと、非常に基本的なことしかできないと感じる。そしてシステムアーキテクチャのような大きな絵の話になるとひどいものだ。本質的に、システム全体がどう組み合わさるかという「ビジョン」を持っていないのだ。

これも私の直感と一致する。MLの学習パイプラインや研究プロジェクトをデバッグしようとすると、LLMからの提案はほぼ常に技術的には正しいが、本当に重要でない小さくて面倒な詳細を指摘してくる。私の経験では、木を見て森を見ずだ。

継続的なスケーリングがこれを完全に解決するとは悲観的だ。しかしその間、元の投稿のコメント者が指摘するように、面倒なこと（診断ツールの構築、可視化の作成、実験の足場作り）を解決することで、彼らは依然として極めて有用な研究アシスタントであることを証明している。

AIエージェントを長期間放置して、そこから多くの生産的な利益を得るのは非常に難しいと私も感じている。

フロンティアラボには、自律研究が可能になるほど遥かに進んだ内部モデルがある可能性はあるが、それが理由かどうかはわからない。

私には、これらのモデルは仮想的なデジタル脳の非常に有能で重要な部分のようなものだが、単独では有用になるために必要な施設をすべて備えていないように思える。重度のADHDと短期記憶喪失を抱えた天才のようなものだ。

品質が明確に客観的でないものについては、良い出力を得るために非常に意図的なコンテキスト管理が必要だ。コンテキストサイズが拡大すると性能が低下する。タスクの数が増えると性能が低下する。主観的な基準に基づく独立した決定の数が増えると性能が低下する。

すべての決定が一度に一つずつ、必要なコンテキストだけに焦点を当てて行われるようにするハーネスがあれば、物事はうまくいく。しかし、そのようなハーネスを作るのは依然として難しく、多くの作業が必要で、エージェントはそれを手伝う方法をまったく知らないように見える。

確かに、彼らは大きなことよりも小さなことの方がずっと得意なようだ。判断力が疑わしいという点には同意するし、大規模な群れを作るという報告はどれも、単一エージェントの性能、特に人間がループに入った単一エージェントの性能に対して劇的に収穫逓減に依存していることを示唆している。

一方では、ええ、同感です。

他方では、AIを使ってすべての雑用、実験、よく踏まれた領域を探し回ることで、私はあの巨人の肩にかなり近づくことができ、本当に重要な問題に答えるための自分の労力をずっと少なくできるので、その上に立つことができる。

（これは自己誇張に聞こえないはずだ。私が立っている巨人の肩はそれほど高くなく、彼らにはもっと大きな兄弟姉妹がいるだろうが、この慣用句は使わずにはいられないほどぴったりだった）

少し前にFabelを使って非AIのMLモデルを改善したとき、似たような結果だった。私が出した提案は完璧に実装できたが、自分自身で非常に貧弱な提案をしたり、間違ったことに気を取られたり、愚かな仮定をしたり、全体像を見失ったりするため、自律的に働くことはできなかった。

しかし、100または1000のエージェントを雇う余裕があれば、これらは解決がかなり簡単な問題のように思える。彼らに探索させ、競争させ、自分たちで間違いを解決させればいい。

実際のレベルでは、エージェントを走らせ続けてバックグラウンドでアイデアをテストするだけで、今はずっと多くの「ボーナス」R&D作業をしている。

> これらすべてのケースで、モデルの判断力は基本的な意味で非常に貧弱だ。

この文は強く響いた。R&Dだけでなく、モデルとのあらゆるやり取りでそうだ。FableからSonnetまで、トレーニング中に答えを見たことがない限り、どれも判断力がまったくゼロであることをはっきり示している。