PSSA：Rust 手写非 Transformer 模型
PSSA: A non-transformer language model written from scratch in Rust
PSSA 是一个完全用 Rust 从零编写的语言模型，它摒弃了主流的 Transformer 架构，转而采用循环状态空间核心和情景记忆库。在相同参数和语料下，PSSA 的学习速度远超 Transformer，且在 CPU 上的文本生成速度快出 12 倍。该项目不依赖 PyTorch 或 TensorFlow 等框架，通过手写线性代数和独特的权重可塑性机制，实现了更优的泛化能力和训练效率。尽管目前仅为 150 万参数的原型，但其在 WikiText-103 数据集上的表现证明了非 Transformer 架构的潜力，正寻求 GPU 算力支持以进行更大规模的验证。
PSSA 并非在死记硬背，而是在更好地泛化。
HN 评论区
38- JPLeRouzic
我在某处读到过，Transformer 架构具有二次方成本 [0]（这解释了 LLM 的高昂成本，以及在不增加状态大小的情况下持续改进的难度）。
就我的理解而言，PSSA 属于 LLM 可扩展架构的研究方向，因为生成单个 token 时不需要将完整的 KV 加载到内存中：
[0] https://aclanthology.org/2023.findings-emnlp.936/
https://arxiv.org/abs/2503.00392
https://papers.nips.cc/paper_files/paper/2023/hash/6ceefa7b1...
- prospero_
看来所有抱怨用 Rust 写的人连标题后面都没看，因为这明明在 readme 的第二部分，根本不可能漏掉。
- mllev15
你光看就能猜出这个想法是什么时候冒出来的。
- janalsncm
楼主，你不该用 Rust 写这个。应该用 PyTorch，毕竟那是目前最流行的。我们没法判断是架构本身好不好，还是你的实现有问题。
你可以在 Google Colab 上免费用 GPU 测试整个项目。在更大的数据集上同时测试 Transformer 和你的新架构。选那种每次运行都能让 GPU 满载一小时的数据集。
另外，readme 里提到保持相同的优化器调度，乍一听不错，但它们完全是不同的架构。Transformer 的损失值很高，你试过调高它的学习率吗？
总的来说，我对参数高效的架构很感兴趣。我不认为 Transformer 是最优解，事实上人们也确实在对原始 Transformer 进行各种改进。但如果你有更好的想法，你得拿出证据来。
- a19486
这哥们儿不过是月底有点 token 要烧掉罢了，'用 Rust 写的'纯粹是 HN 的标题党。