Ejecuté un modelo de lenguaje autoregresivo en el procesador 6502 de 1975

Autoregressive Language Model on the 6502 Processor

Matt Beton entrenó un pequeño modelo de lenguaje basado en Mamba y escribió un motor de inferencia para ejecutarlo en el procesador MOS 6502 de 8 bits, el chip que impulsó la BBC Micro y el Apple II. Con solo 13KB para los pesos del modelo y 9KB para el código, logró que la BBC Micro de su padre generara texto. El modelo usa cuantización ternaria (BitNet) para acelerar la inferencia, ya que el 6502 no tiene instrucción de multiplicación. El artículo detalla los desafíos de memoria, la elección de una arquitectura recurrente en lugar de atención, y cómo se puede probar el modelo en un emulador en el navegador.