ニューラルネットワークはすでに解きほぐされている、常識は誤りだった
Neural Networks Are Already Clean
画像・言語モデルのニューロンと回路を長期間調べた結果、ネットワークは任意に概念を詰め込んでいるのではなく、ほとんどが「再帰的一般化」という無害な仕組みで説明できることがわかった。かつて多義性の証拠とされたInceptionV1の回路も読み違いで、現代のモデルでは約90%のニューロンが単一の役割を持つ。解釈可能性の見通しは以前の懸念よりはるかに良い。
ニューラルネットワークはすでに解きほぐされている。
HNでの議論
167- sebmellen
Nickはまさに自然の力だ。まだフォローしていないなら、Xで彼をフォローすることを強く勧める。
彼のローンチ投稿には、ブログにはない良い文脈が書かれている：
> 解釈可能性は今、世界で最も重要な科学的問題かもしれない。何を作っているのか分からなければ、アラインメントを解決できるとは思えないからだ。それについて良い知らせがあると思う。私はOpenAIで機械論的解釈可能性の初期の研究を共著したが、悲観的な結果に終わった。ニューラルネットワークは恣意的に絡み合った結び目に折り畳まれるように見えたからだ。数年後、私はOpenAIで最初の大規模自動解釈可能性プロジェクトを始め、当時の原始的なツールで約2%のニューロンが解読可能だと分かった。
> 現代のエージェント的ツールと、はるかに注意深い観察によって、状況は全く違って見える。数兆パラメータまでのモデルの大多数は解読可能で、その回路は美しい。絡み合ったニューロンの有名な例の多くは、誤解だったことが判明した。私が予想していた障害はほとんど存在しない。今では、野心的な解釈可能性は、最も必要とされる時までに解決されるだろうし、自動化された科学者が改善し続けるにつれて、おそらくかなり早く解決されると思う。これは解釈可能性にとっての苦い教訓かもしれない：単純なものが、途方もない規模で、機能するのだ。
- bluejay2387
その主張は、実際に証明されていることからすると行き過ぎのように思える。漸進的な特徴の複雑さや、初期の訓練構造が後の訓練に与える影響については、ずっと前から知られている（CNNの登場以来、The Lottery Ticket Hypothesisなど）。そして、これらの現象はどちらもパラメータの過負荷と矛盾しない。Multimodal Gapの研究（https://arxiv.org/abs/2203.02053）は、ネットワークが明らかに意味論的ではない凝縮された表現へと向かう傾向があることを示唆しているようだし、他にも多くの考慮事項がすでに議論のテーブルに載っている。機械論的解釈が目前に迫っていると主張し始めるには、これらすべてが十分に検討されているとは思えない。
- lukewarm707
Judith Butlerのこの引用を思い出す：
「資本が社会関係を比較的同質な形で構造化すると理解する構造主義的説明から、権力関係が反復、収束、再節合に服するというヘゲモニー観への移行は、時間性の問題を構造の思考に持ち込み、構造的全体性を理論的対象とするアルチュセール的理論の形式から、構造の偶発的可能性への洞察が、権力の再節合の偶発的な場と戦略に結びついたヘゲモニーの新たな概念を開始する形式への移行を特徴づけた。」
- juanjmanfredi
Yudkowskyは納得していないようだ。
- aesthesia
その口調は、最初の大規模SAEの結果が出た頃のAnthropicのmechinterpチームの熱狂を少し思い出させる。モデルを理解するために必要な鍵となるパラダイムを発見し、あとはそれをスケールアップするだけだという考えの周りにある、一種の軽躁的なエネルギーだ。
- ks2048
このテキストの一部を切り抜けるために——彼が「私がほとんど理解できたと感じる最初の非自明なニューラルネットワーク」と呼ぶリンクをここに貼る：
https://already-clean.goodfire.com/microscope/medium.html?la...
- x312
皆さんのためにTLDRを。このコメント欄には多くの誤解があるので。
考え方はこうだ：モデルは1億個のニューロンしか持っていないかもしれない。しかし世界には無限の概念がある。したがって、モデルは1つのニューロンに複数の概念を「詰め込む」必要がある。
どうやるのか？2つの方法がある：
1. 各ニューロンが類似した概念を扱う。犬用のニューロン、車用の別のニューロン、など。
2. 各ニューロンが無関係な概念の束を扱う。1つのニューロンが犬と車を扱う。別のニューロンが猫と数字を扱う。などなど。
歴史的に、人々は#2が正しいと考えていた。複数の概念を表しているように見えるニューロンが多数見つかったからだ。#2にはクールな名前（多義性）があり、OpenAI/Anthropicのブログで宣伝されたので、大きな支持を得た。
しかし、このブログは#2は間違いだと言っている。実際、犬/車ニューロンはただの「V字型ニューロン」だ。つまり#2は単なる方法論的誤りで、#1がずっと正しかった。ブログが言っているのはこれだけだ。
- tuvix
私にとって、オープンウェイトがこれほど重要である主な理由はこれだ。OpenAIとAnthropicがこれらのモデルを可能な限り自律的にしたいなら、それらを完全に理解する手段も提供する必要がある。