トランスフォーマーは記憶から発明できる
You could have invented transformers from memory
線形写像、MLP、自己注意を記憶ストアとして捉えると、それぞれの容量が導出できる。外積ストアの容量はキー次元と同程度だが、最適線形ストアはその2倍、自己注意は事実上無制限。64次元のキーでは約64から2700、そして100万以上へと跳ね上がる。
記憶を保存するのは簡単だ。重みに外積を足し続けるだけでよい。だが、一つを思い出そうとすると何が起こるだろうか？
You could have invented transformers from memory
線形写像、MLP、自己注意を記憶ストアとして捉えると、それぞれの容量が導出できる。外積ストアの容量はキー次元と同程度だが、最適線形ストアはその2倍、自己注意は事実上無制限。64次元のキーでは約64から2700、そして100万以上へと跳ね上がる。
記憶を保存するのは簡単だ。重みに外積を足し続けるだけでよい。だが、一つを思い出そうとすると何が起こるだろうか？