SPECTRA、50MB未満のRAMでLLMを3倍圧縮——ほぼ損失なし

Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM

▲ 34anushka_gandhi33 HNでの議論

SPECTRAは、キャリブレーション不要のトポロジカルな重要度抽出とGroup-32マイクロスケーリング、Tritonカーネルを組み合わせ、任意のLLMを約3倍に圧縮するフレームワーク。Shannonのレート歪み理論に基づき、FP16の可逆圧縮限界1.19倍を超える圧縮を実現。4GBのVRAMでも8,192トークンのKVキャッシュを扱え、PCIe経由のオフロード時でも実用的な速度を目指す。

Shannonの上限は、可逆圧縮アルゴリズムがFP16のモデル重みを1.19倍以上に圧縮できないことを証明している。
原文を読む →HNでの議論RSS

HNでの議論

33
  1. velox

    全部読んだわけではないですが、既存の例えば4ビット量子化モデルを使うのと比べて、これの利点がよく分かりません。

  2. goodmythical

    研究参加者の誰かの評判を通じて、これらの主張のいずれかを検証できたら面白いでしょう。

    現状では、すべてが「NeuraCryption Private Limited」にクレジットされています。この会社はごく最近登録され[0][1][2]、その住所は他にも最近登録されたいくつかの企業と共有されており[0を下にスクロール]、提供されたzenodoリンクによればこれが彼らの最初の製品です[3]。

    さらに、コードを見ると、標準的な量子化器のように見えます…

    つまり、たった50MBのRAMを使って数十GBの重みファイルを3分の1のスペースに本当に圧縮できる既存の方法は存在しません。

    [0]https://www.zaubacorp.com/NEURACRYPTION-PRIVATE-LIMITED-U620...

    [1]https://www.registerkaro.in/company/neuracryption-private-li...

    [2]https://www.falconebiz.com/company/NEURACRYPTION-PRIVATE-LIM...

    [3]https://zenodo.org/search?q=metadata.creators.person_or_org....

  3. hedora

    これは量子化とうまく組み合わせられるのでしょうか？

    具体的には、例えば1.5ビットや4ビットの量子化から始めて、これを実行すると、モデルの動作をさらに劣化させることなく、0.5～1.5ビットのサイズになるのでしょうか？

  4. Roark66

    うーん、これは3倍以上の「機能的にロスレス」な圧縮を主張しています。しかし、起点は何でしょうか？Bf16かfp16ですか？もしそうなら、現在の量子化技術と比べてどれだけ優れているのでしょうか？

    これは中規模の密なモデルでテストすべきです。例えばQwen3.8-27Bとか。4.5ビットへの量子化と比べてどれだけ良いのでしょうか？

  5. mapcars

    つまり、これはローカルモデルをより利用しやすくするのに非常に良いということですよね？

この日のほかの記事

2026-11-10