Astraの再帰的アーキテクチャ: 私たちはどれほど懸念すべきか
How concerned should we be about Astra's recurrent architecture?
LessWrongの記事が、Astraの再帰的アーキテクチャがもたらす潜在的なリスクを分析しています。再帰的な自己改善システムが制御不能に陥る可能性について、専門家の間で議論が交わされる中、記事は技術的な詳細と倫理的懸念を整理し、AI安全性の観点から重要な問いを投げかけます。具体的な事例や理論的枠組みを用いて、リスクの深刻度を評価し、今後の研究や規制に示唆を与えます。
Astraの再帰的アーキテクチャは、その能力が指数関数的に増大するにつれて、人間の制御を超える可能性があり、これは私たちが真剣に受け止めるべき脅威です。
HNでの議論
45- mentalgear
つまり、OpenAIの解釈可能性（AI安全性）に対する姿勢は、今や基本的にあのブルースブラザーズのミームと同じだということだ。つまり、二人の男が黒いサングラスをかけ、フロントガラスが割れた車で夜にアクセル全開で運転しながら、『何か問題が起こる可能性があるのか？』と尋ねているようなものだ。
- khalic
中間トークン（「思考の連鎖」）はモデルの論理的な経路の表現ではないという印象を持っていました。ある研究では、中間トークンを単一文字の連鎖に置き換えても精度の向上が得られることが観察されています。
- samrus
トランスフォーマーレベルでの再帰性を高めるというアイデアは好きです。思考の連鎖はいつも不格好に思えました。それは人間の脳が情報を処理する方法とは違います。せいぜい非常に粗い近似に過ぎません。
- kjshsh123
> 古典的なRNNとは対照的に、軌道全体にわたって蓄積される非有界な隠れ状態はありません。
この行が理解できません。古典的なRNNでは、隠れ状態の次元は有界です。実際、技術的に非有界な隠れ状態を持つのはトランスフォーマーの方です。
古典的な非線形RNNは様々な理由で並列化できませんが、トレーニングにおいてはRNNもトランスフォーマーも、シーケンス全体の履歴に非有界な形で依存します。もちろん実際には、最大シーケンス長でトレーニングするだけです。
RNN: xhat[t+1]=f(x[t],h[t])
トランスフォーマー/自己注意: xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])
- anon373839
Sebastian Raschkaがこのアーキテクチャについて投稿していました：
> 今日、私のタイムラインではOpenAIのAstraモデルに関する多くの誇大広告がありました。どうやらこれはThe Informationの新しい記事に遡り、Astraは「再帰的深度またはループ型トランスフォーマー」であると述べています。
> 新しいまたは異なるアプローチについて読むのはいつも興味深いですが（クローズドラボが何をしているかについての噂を含む）、これを少し否定しましょう。
> 約2か月前、私は例えばNanbeigeのアーキテクチャの詳細を共有しました。そこでは「Nanbeige4.2-3Bは、パラメータを追加せずに容量を増やすためにレイヤースタックを再利用するループ型トランスフォーマーを使用して、28Tトークンでゼロから事前学習されています。」
> はい、それだけです。ループ型トランスフォーマーのアイデアは、トランスフォーマーブロック内のレイヤーを再利用することです。
> Nanbeigeの場合、主なアイデアは同じ22層のスタック（＝トランスフォーマーブロック）を1回ではなく2回再利用することです。つまり、実質的に22層のアーキテクチャを44層に拡張しますが、重みを複製しません。
> 簡単に言うと、これはモデルのサイズを（埋め込み層と出力層を無視すれば）ほぼ2倍にします。しかし、このモデルをホストするために2倍のストレージとRAMを必要とする代わりに、コンポーネントを再利用するため、同じサイズのままです。ただし、計算コストはほぼ2倍になります。なぜなら、埋め込まれたテキストをほぼ2倍のレイヤーに通すからです。
> なぜでしょうか？Nanbeige 4.2のテクニカルレポートでは、研究者たちは2回のパスが最良のトレードオフを与え、トークン効率の約75%を保持することを発見しました。