Astra的循环架构值得担忧吗？
How concerned should we be about Astra's recurrent architecture?
Astra提出的循环架构引发了关于AI安全性的讨论。这种设计可能带来新的风险，也可能提升模型效率。我们需要仔细评估其潜在影响，而不是盲目恐慌。文章深入探讨了技术细节，帮助读者理解这一架构的利弊。
我们是否应该对Astra的循环架构感到担忧，取决于我们如何平衡创新与风险。
HN 评论区
124- samrus
我喜欢在 Transformer 层面增加循环机制的想法。思维链（Chain of thought）一直显得非常笨拙。这根本不是人脑处理信息的方式。充其量，它只是一种极其粗糙的近似。
- anon373839
Sebastian Raschka 在社交媒体上发过关于这种架构的内容：
> 今天我的时间线上充斥着关于 OpenAI Astra 模型的炒作。据称，这源自 The Information 的一篇新文章，称 Astra 是“循环深度”或“循环 Transformer”。
> 阅读关于新方法或不同路径（包括关于封闭实验室可能在做什么的传闻）总是很有趣，但让我们稍微辟个谣。
> 大约 2 个月前，我分享了 Nanbeige 的架构细节，例如，"Nanbeige4.2-3B 是在 28T tokens 上从头预训练的，它使用循环 Transformer 复用层堆栈，在不增加参数的情况下提高容量。"
> 没错，就是这样。循环 Transformer 的概念仅仅是复用 Transformer 块中的层。
> 在 Nanbeige 的案例中，主要想法是将相同的 22 层堆栈（=Transformer 块）复用两次，而不是只用一次。因此，实际上它将 22 层的架构扩展到了 44 层，但没有复制权重。
> 简单来说，这大致将模型规模翻了一番（如果我们暂时忽略嵌入层和输出层）。但与其需要 2 倍的存储和 RAM 来托管该模型，由于我们复用了组件，它的大小保持不变。然而，在计算成本方面，它几乎增加了 2 倍，因为我们将嵌入的文本通过了几乎 2 倍数量的层。
> 为什么？在 Nanbeige 4.2 的技术报告中，研究人员发现两次遍历给出了最佳权衡，并保留了约 75% 的 token 效率 […]
- kjshsh123
> 与经典 RNN 相比，这里没有在整个轨迹上累积的无界隐藏状态
我不明白这句话。在经典 RNN 中，隐藏状态的维度是受限的。事实上，从技术上讲，Transformer 才拥有无界的隐藏状态。
由于各种原因，你无法并行化经典的非线性 RNN，但在训练过程中，RNN 和 Transformer 都以某种无界的方式依赖于整个序列历史。当然，在实践中，你只是在最大序列长度上进行训练。
RNN: xhat[t+1]=f(x[t],h[t])
Transformer/自注意力: xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])
- khalic
我原本以为中间 token（“思维链”）并不是模型逻辑路径的表征，有一项研究观察到，你可以用单个字符的链替换中间 token，仍然能获得精度的提升……
- dang
相关的持续讨论线程：
OpenAI 的新推理技术引起 AI 安全专家的担忧 - https://news.ycombinator.com/item?id=49552395
- pu_pe
这似乎在概念上与通过复制层来改进模型的“重复你自己”（repeat yourself）技巧有关：https://dnhkng.github.io/posts/rys/
- mentalgear
所以 OpenAI 在可解释性（AI 安全）方面的立场现在基本上就是那个 Blues Brothers 的梗：两个戴着墨镜的家伙，在夜里开着挡风玻璃破碎的车，油门踩到底，问道：“怎么可能出什么错呢？”
- nighthawk454
还有人记得 2018 年的 Universal Transformers 论文（Dehghani 等人）吗？循环 Transformer 的历史和 Transformer 本身一样悠久。
目前尚不清楚这到底有什么特别新颖之处，还是仅仅是一种节省计算资源的方法。