Transformerを超えた？Rustでゼロから書かれた非Transformer言語モデルPSSA

PSSA: A non-transformer language model written from scratch in Rust

PSSAはTransformerを使わない言語モデルで、Rustでフレームワークなしにゼロから実装されている。再帰的な状態空間コアとエピソード記憶バンク、実行中に重みを書き換える可塑性を持つ。同じパラメータ数とコーパスでTransformerより速く学習し、CPUでの生成速度は約12倍。12.7MトークンのWikiText-103で、PSSAの損失3.98に対しTransformerは4.43。未見テキストでも差は保たれ、汎化性能が高いことを示す。ただし1.5Mパラメータの研究プロトタイプであり、テキスト品質は両モデルとも低い。