突破1.58位：三元LLM存储新方案

Breaking the 1.58-bit Barrier for Ternary LLMs

▲ 235matt_d37 HN 评论区

三元大语言模型（LLM）传统上受限于1.585位的理论存储下限，实际部署中因打包方式往往达到1.625位。研究团队发现，29个三元模型中零值权重占比高达51.5%，这一非均匀分布被长期忽视。为此，他们提出了BITCOS方案，通过自适应布局结合密集存在位图与紧凑符号向量，将存储成本降至1.485位。该方案在26个测试模型中表现优于传统五三元组打包法，并在AVX-512、AVX2及Intel Xe2 GPU上实现了高效解包。实测显示，在真实零密度场景下，矩阵向量乘法性能提升最高达1.28倍，端到端推理吞吐量在CPU和GPU上分别提升1.18倍和1.27倍。

我们测量了29个三元LLM模型的符号分布，发现零值占所有权重的比例高达51.5%。
阅读原文 →HN 评论区RSS

HN 评论区

37
  1. c7b

    我们测量了 29 个三元 LLM 模型的实际符号分布，发现零值占所有权重的比例高达 51.5%。受此发现启发，我们提出了 BITCOS，一种简单的分布自适应布局。

    我原本以为它们本来就是这么工作的。我甚至不得不承认，我还跟朋友这么解释过。天哪，为什么不从一开始就这么设计呢（指自适应部分，不是测量部分；稍微牺牲几个比特来明确你的编码，却能节省一大把比特）？

  2. infogulch

    所以他们利用实际权重在 51% 的情况下为 0 这一事实，将每个权重的比特数从 1.58 降到了 1.48。挺酷的。

    如果三元 LLM 能行得通，并且作为定制硅片集成到硬件中，我敢打赌它们的效率会令人震惊。

  3. om8

    三元量化毫无意义。在这个区间内，针对 PTQ，矢量量化和基于格（trellis）的方法更好。

  4. CodesInChaos

    我很惊讶这种变长编码可以直接用作内存格式，而不仅仅是存储或传输格式。

  5. yalok

    听起来非常适合 ASIC 优化的模型（矩阵运算或许可以直接在 BITCOS 格式下支持），从而实现设备上推理的创纪录能效。

    而且根据 [0]，如果进行了量化感知训练，模型只需要增加约 30% 的权重就能达到相当的质量……

    0. https://arxiv.org/pdf/2402.17764 - The Era of 1-bit LLMs:

    All Large Language Models are in 1.58 Bits

同日更多故事

2026-09-16