Recurrent Looped Transformerが系列長とともに深さを増す推論を実現

Recurrent Looped Transformer（RLT）は、因果エンコーダと、最終隠れ状態および層ごとのSWAキャッシュを全トークンにわたり持ち越す再帰デコーダを組み合わせる。エンコーダが大域的なkey-valueメモリを構築し、デコーダが系列の成長に伴い潜在計算を拡張する。48層のエンコーダと48層のデコーダを備え、各トークンは96の論理ブロックを通過する。推論の深さ、ハードウェア効率、RLスケーリングの実現は今後の課題として残る。