LLM 注意力机制的 INT4 内存细胞实现

Persistent State Machines: LLM Attention with INT4 In-Memory Cells

这项研究提出了一种基于 Persistent State Machines 的离散框架，用于重构 Large Language Models 中的注意力算子。计算被广播到静止的内存单元，通过局部确定性状态转换进行高效处理。研究提供了完整的数学证明，涵盖量化误差界限、多阶段离散 Softmax 构建以及 DSPACE 复杂度分析。在硬件验证方面，团队在 Zynq-7000 xc7z020 上实现了低功耗评估，核心逻辑动态功耗低于 1.0 mW；同时在 UltraScale+ xcvu9p 上完成了 System-on-Chip PCIe 集成，系统在 62.5 MHz 时钟下成功通过时序收敛。该架构仅占用极少的逻辑资源，且与定点软件参考实现达到比特级精确一致，展示了在可编程逻辑上部署高效 LLM 的巨大潜力。