LLMはニューラルネットワークの重みを直接読み書きできるほど超人ではない
LLMs are not superhuman at reading and writing neural network weights
最新の論文は、GPT-6 Astraが小さなネットワークの重みを見ただけで学習したゲームを特定し、0.8B Qwenの重みを直接編集して32kトークン超でループに陥る問題を修正したと主張する。だが著者によれば、これらは有能な人間のML研究者なら同じ手順で実行できる。重みの直接操作は魅力的な芸当にすぎず、モデルを改善する最良の方法は今も通常の訓練である。
インテリジェントなLLMがAI研究を助けるとすれば、それは魔法のようにモデルの重みを直接いじるのではなく、訓練を改善することを通じてだろう。
- nfw2
ここで彼らが「超人」的だと言えるのは、LLMが数学において超人的だと言えるのと同じような意味かもしれない。おそらく彼らはこの作業を、どんな人間が手動でやるよりも速く効果的にこなす。しかし、彼らは間違いなく「人間」のやり方でやっている。つまり、読解可能で一貫した思考で推論しているのであって、記事をざっと読んだ人たちが想定しているような、マトリックスのような記号体系を通じて交信しているわけではない。
- nagi_builds
「賢い人間のML研究者なら、これらのタスクをすべて実行できると思う。」
それをどのくらいの期間やるつもりで？
- ChrisArchitect
ソースに関する議論: