Rust로 처음부터 만든 비-트랜스포머 언어 모델, 동일 조건에서 트랜스포머보다 12배 빠르고 학습도 더 잘한다

PSSA: A non-transformer language model written from scratch in Rust

PSSA는 트랜스포머가 아닌 순환 상태 공간 언어 모델로, PyTorch나 TensorFlow 없이 Rust로 처음부터 구현됐다. 150만 파라미터, 1270만 토큰의 WikiText-103에서 트랜스포머 대비 훈련 손실 0.45 낫, 홀드아웃 손실 0.43 낫 더 낮았고, 동일 CPU에서 텍스트 생성 속도는 12배 빨랐다. 에피소드 메모리 뱅크와 실행 중 가중치를 스스로 갱신하는 플라스틱 가중치가 핵심 차이다. 저자는 연구 프로토타입임을 강조하며 더 큰 규모의 컴퓨팅 자원을 요청하고 있다.