在 6502 处理器上运行 Mamba 语言模型
Autoregressive Language Model on the 6502 Processor
我训练了一个基于 Mamba 的微型自回归语言模型，并编写了推理引擎，使其能在 1975 年发布的 8 位 6502 处理器上运行。这台来自 80 年代的 BBC Micro 仅有 32KB 内存，且指令集不支持乘法运算。最终方案将 9KB 推理代码和 13KB 模型权重塞进了 25KB 的用户空间。通过 BitNet 技术将权重量化为三元值，利用加减法替代乘法，我成功在父亲的老机器上生成了文本。这不仅是一次技术挑战，更展示了现代机器学习在极端受限硬件上的可能性。
- tyromaniac
太酷了！
作为一个稍微接触过 NES 编程并尝试过 cc65 的人，我很惊讶他没有直接手写汇编。我猜如果他这么做了，应该能省下不少空间。
- bmc7505
想到这个演示早在五十多年前就可能实现，真让人兴奋。我很好奇，如果当时把这东西展示给 1975 年的人看，他们会怎么说。
- toplinesoftsys
这项目太棒了！希望它能推动 AI 的真正微型化——比如把边缘 LLM 塞进眼镜里。那将非常 awesome。