SPECTRA：一键将LLM压缩3倍，50MB内存运行
Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM
边缘设备运行大模型常受困于内存墙，导致算力闲置。SPECTRA架构通过Shannon信源编码理论与Group-32微缩放技术，在无需校准的情况下实现近无损压缩。它能在低于50MB的RAM中运行，将LLM体积压缩3倍，同时解决传统量化在特定领域（如医疗术语）的脆弱性。该方案利用硬件饱和的边缘推理机制，让消费级GPU也能流畅处理70亿参数模型，彻底打破PCIe总线带来的延迟瓶颈。
在自回归令牌生成过程中，语言模型一次仅输出一个令牌，此时操作算术强度降至约每加载字节1次浮点运算。