Recurrent Looped Transformer：无限深度的推理新范式

Recurrent Looped Transformer（RLT）提出了一种结合因果编码器与循环解码器的新架构，通过携带隐藏状态和层级滑动窗口注意力缓存，实现了随序列增长而无限延伸的推理深度。该设计强调模型与硬件、模型与RL算法的协同，利用并行编码、序列批处理和内存复用，在预训练、SFT及采样回放中共享完整的状态转换。不同于传统方法，RLT确保每个Token都能遍历完整的解码器路径，同时保持每Token块数固定，从而在提升推理能力的同时兼顾硬件效率。尽管实际收益仍需验证，但这一架构为未来大模型训练与推理提供了全新的思考方向。