Transformerを超えた？Rustでゼロから書かれた非Transformer言語モデルPSSA
PSSA: A non-transformer language model written from scratch in Rust
PSSAはTransformerを使わない言語モデルで、Rustでフレームワークなしにゼロから実装されている。再帰的な状態空間コアとエピソード記憶バンク、実行中に重みを書き換える可塑性を持つ。同じパラメータ数とコーパスでTransformerより速く学習し、CPUでの生成速度は約12倍。12.7MトークンのWikiText-103で、PSSAの損失3.98に対しTransformerは4.43。未見テキストでも差は保たれ、汎化性能が高いことを示す。ただし1.5Mパラメータの研究プロトタイプであり、テキスト品質は両モデルとも低い。
PSSA is not memorizing harder, it is generalizing better.
HNでの議論
38- JPLeRouzic
どこかで読んだんだけど、Transformerアーキテクチャには二次のコストがかかるらしい[0]（これがLLMに伴う高コストや、状態サイズのポケットなしには継続的に改善するのが難しい理由を説明している）。
僕の理解では、PSSAはスケーラブルなアーキテクチャによるLLM研究の系譜に属する。なぜなら、単一のトークンを生成するためにKV全体をメモリにロードする必要がないからだ：
[0] https://aclanthology.org/2023.findings-emnlp.936/
https://arxiv.org/abs/2503.00392
https://papers.nips.cc/paper_files/paper/2023/hash/6ceefa7b1...
- prospero_
どうやらRustについて文句を言っている人たちは誰一人としてタイトルより先を読んでいないようだ。だってそれはreadmeの第2セクションで、見逃しようがないんだから。
- janalsncm
OP、これはRustで書くべきじゃなかった。圧倒的に最も人気のあるPyTorchで書くべきだ。そうしないと、このアーキテクチャが良いのか、それとも君の実装に問題があるのか、我々には判断できない。
Google Colabを使えばGPUで全部無料でテストできる。Transformerと君の新しいアーキテクチャの両方を、より大きなデータセットでテストしてみてくれ。各実行で1時間GPUをフルに使い切るくらいのやつを。
あと、readmeには同じオプティマイザスケジュールを保つと書いてあって、最初は良さそうに聞こえるけど、両者はまったく別のアーキテクチャだ。Transformerの方は損失が高いけど、そっちの学習率を上げてみた？
全般的に、僕はパラメータ効率の良いアーキテクチャに興味がある。Transformerが最適だとは思わないし、実際バニラTransformerには多くの改善が加えられてきた。でも、何かより良いアイデアがあるなら、それを示す必要がある。
- mllev15
アイデアそのものがいつ生成されたかって、すぐに分かるよね。
- a19486
こいつは月末に使い切るトークンが余ってただけだろ、そして「Rustで」は純粋にHNのクリックベイトだ。