Astraの再帰的アーキテクチャ: 私たちはどれほど懸念すべきか

セバスチャン・ラシュカがこのアーキテクチャについて投稿していた：

> 今日、私のタイムラインではOpenAIのAstraモデルに関する誇大広告がたくさん流れている。どうやらこれはThe Informationの新しい記事に遡るもので、Astraは「再帰的深さまたはループ型トランスフォーマー」だと言われている。

> 新しいまたは異なるアプローチ（クローズドラボが何をしているかという噂を含む）について読むのはいつも興味深いが、これを少しだけ誤解を解こう。

> 例えば、約2ヶ月前、私はNanbeigeのアーキテクチャの詳細を共有した。そこでは「Nanbeige4.2-3Bは、パラメータを追加せずに容量を増やすためにレイヤースタックを再利用するループ型トランスフォーマーを用いて、28Tトークンでゼロから事前学習されている」。

> そう、それだけだ。ループ型トランスフォーマーのアイデアは、トランスフォーマーブロック内のレイヤーを再利用するだけだ。

> Nanbeigeの場合、主なアイデアは同じ22層スタック（＝トランスフォーマーブロック）を1回ではなく2回再利用することだ。つまり、実質的に22層のアーキテクチャを44層に拡張するが、重みを複製するわけではない。

> 簡単に言えば、これによりモデルのサイズはおおよそ2倍になる（埋め込み層と出力層を無視すれば）。しかし、このモデルをホストするために2倍のストレージとRAMを必要とする代わりに、コンポーネントを再利用するため、同じサイズのままである。ただし、計算コストはほぼ2倍になる。なぜなら、埋め込まれたテキストをほぼ2倍のレイヤーに通すからだ。

> なぜか？Nanbeige 4.2のテクニカルレポートで、研究者たちは2回のパスが最良のトレードオフを与え、トークン効率の約75%を保持することを発見した。

> 古典的なRNNとは対照的に、軌道全体にわたって蓄積される無制限の隠れ状態はない。

この行が理解できない。古典的なRNNでは、隠れ状態は次元が制限されている。実際、技術的には無制限の隠れ状態を持つのはトランスフォーマーの方だ。

古典的な非線形RNNを並列化できない理由は様々あるが、訓練においてはRNNもトランスフォーマーも、無制限の方法でシーケンス全体の履歴に依存する。もちろん実際には、最大シーケンス長で訓練するだけだ。

RNN: xhat[t+1]=f(x[t],h[t])

トランスフォーマー/自己注意: xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])

中間トークン（「思考の連鎖」）はモデルの論理経路の表現ではないという印象を持っていた。ある研究では、中間トークンを単一文字の連鎖に置き換えても精度の向上が維持されることが観察されている。

関連する進行中のスレッド：

OpenAIの新しい推論手法がAI安全専門家を懸念させる - https://news.ycombinator.com/item?id=49552395

これは、レイヤーを複製することでモデルを改善する「繰り返せ」ハックと概念的に結びついているように思える: https://dnhkng.github.io/posts/rys/

つまり、OpenAIの解釈可能性（AI安全性）に対する姿勢は、基本的にブルースブラザーズのミームになった：暗いサングラスをかけ、壊れたフロントガラスの車で夜に全速力で運転しながら、「何がうまくいかなくなる可能性があるんだ？」と尋ねる二人組。

2018年のUniversal Transformers論文（Dehghaniら）を覚えている人はいる？ 再帰的トランスフォーマーは、トランスフォーマー自体と同じくらい長い歴史がある。

これが特に新しいのか、それとも計算を節約する方法なのかは、いくぶん不明確だ。