1975年の6502プロセッサでAI言語モデルを実行、父親のBBC Microでテキスト生成に成功

Autoregressive Language Model on the 6502 Processor

著者は、1975年発表の8ビットCPU「MOS 6502」を搭載した父親のBBC Microで、Mambaベースの自己回帰言語モデルを実行した。モデルは13KBの重みと9KBの推論コードに収め、BitNetによる3値量子化と固定サイズの状態ベクトルを持つリカレント構造を採用。6502には乗算命令がないため、加減算のみで行列演算を実装し、学習済みモデルをテープ経由で転送した。生成されたテキストは「once upon a time...」で始まる物語で、エミュレータ上でも再現可能。