PSSA на Rust учится быстрее трансформера и генерирует текст в 12 раз быстрее
PSSA: A non-transformer language model written from scratch in Rust
PSSA — это языковая модель, написанная с нуля на Rust без PyTorch или TensorFlow. В ней нет трансформерной архитектуры: вместо внимания используется рекуррентный state-space слой, банк эпизодической памяти на 512 слотов и пластичные веса, которые обновляются во время работы. На 12,7 млн токенов WikiText-103 при 1,5 млн параметров PSSA достигает кросс-энтропии 3,98 против 4,43 у трансформера, а на невиданном тексте разрыв сохраняется. Генерация 200 токенов занимает 226 мс против 2735 мс на том же CPU.
PSSA закончила с кросс-энтропией 3.98, трансформер — с 4.43. Это разрыв в 0.45 нат, перплексия 53.7 против 83.7. Трансформер потратил весь свой бюджет в 12.7M токенов, чтобы достичь потери, которую PSSA уже прошла примерно на 2M токенов.