訓練済みLLMにブール回路を埋め込む方法
Embedding boolean circuits in a neural network
訓練済みのニューラルネットワークにブール回路を「サイドカー」として組み込むアイデアを考察する。AND/OR/NOTは重み付き和と閾値でニューロンとして表現でき、実数値のニューロン出力を0/1に変換する「Probe」と、ブール値で加算方向と強さを制御する「Stim」を組み合わせれば、回路の入出力をネットワークに接続できる。コード例はなく、より複雑な実装に向けた思考の整理として書かれている。
これは一種のNeuralinkのようなものだが、対象はLLMだ。
- PaulHoule
1990年代にニューロシンボリックAIが必要になるという話を覚えているし、それを実現する方法をたくさん想像していたけど、当時はニューラルネットワークがそれほど良くなかったので、すべてが仮説的に思えた。そして今、言語のニューラル表現が成熟したので、うまくいくと思われるすべての道が開かれている。
- vatsachak
わかった、でもここでの難しさは、トレーニングが回路を一掃することなく、LLMにニューラル回路を効果的に使わせることだ。回路を、勾配がブラックボックスに影響を与えられない微分可能なブラックボックスにする必要がある。
- gnarlouse
よし、じゃあいつLLMにFPGAが載るんだ？