PSSA, un modelo de lenguaje no-transformer escrito en Rust desde cero, aprende más rápido y genera 12 veces más rápido que un transformer
PSSA: A non-transformer language model written from scratch in Rust
PSSA es un modelo de lenguaje recurrente de espacio de estados con memoria episódica y pesos plásticos, implementado en Rust sin PyTorch ni TensorFlow. Con 1.5M de parámetros y entrenado en 12.7M de tokens de WikiText-103, alcanza una entropía cruzada de 3.98 frente a 4.43 de un transformer con los mismos parámetros, y genera 200 tokens en 226 ms frente a 2,735 ms en la misma CPU. El autor busca acceso a GPU para escalar el prototipo.
PSSA terminó en 3.98 de entropía cruzada de entrenamiento, el transformer en 4.43. Eso es una brecha de 0.45 nats, perplejidad 53.7 contra 83.7.