SPECTRA, 4GB GPU에서 7B 모델을 3배 압축해 초당 14토큰 생성

Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM

▲ 34anushka_gandhi33 HN 토론

SPECTRA는 Shannon rate-distortion 이론과 Group-32 마이크로스케일링, Triton GPU 커널을 결합해 LLM 가중치를 4비트로 압축한다. 기존 GPTQ·AWQ와 달리 캘리브레이션 없이 AST 민감도 스캔으로 아웃라이어를 분리하고, 50MB RAM 미만에서 3배 압축을 달성한다. 4GB VRAM 환경에서 7B 모델을 PCIe 오프로딩 없이 구동해 초당 14토큰을 생성하며, Mamba-2 같은 비트랜스포머 구조에도 적용된다.

Shannon의 한계는 어떤 무손실 알고리즘도 FP16 모델 가중치를 1.19배 이상 압축할 수 없음을 증명한다. 무손실 압축이 1.52배를 넘을 수 없기 때문에, 2.80배에서 3.31배 사이의 압축률은 수학적으로 Shannon rate-distortion 이론으로의 전환을 강제한다.
원문 읽기 →HN 토론RSS

HN 토론

33
  1. velox

    전체를 다 읽지는 않았는데, 이게 기존에 있는 모델의 4비트 양자화 같은 걸 쓰는 것과 비교해서 어떤 이점이 있는지 잘 모르겠네요.

  2. goodmythical

    이 주장들 중 어떤 것이든 연구 참여자들의 평판을 통해 검증할 수 있다면 흥미로울 것 같습니다.

    현재로서는 모든 것이 "NeuraCryption Private Limited"에 크레딧이 돌아가는데, 이 회사는 아주 최근에 등록되었고[0][1][2], 여러 다른 최근 등록된 사업체들과 주소를 공유하고 있으며[0에서 아래로 스크롤], 그들이 제공한 zenodo 링크에 따르면 이게 그들의 첫 번째 제품입니다[3].

    게다가 코드를 보면, 표준 양자화기인 것 같습니다...

    그러니까... 단 50MB의 RAM만으로 수십 GB의 가중치 파일을 3분의 1 공간으로 진정으로 압축할 수 있는 기존 방법은 없습니다.

    [0]https://www.zaubacorp.com/NEURACRYPTION-PRIVATE-LIMITED-U620...

    [1]https://www.registerkaro.in/company/neuracryption-private-li...

    [2]https://www.falconebiz.com/company/NEURACRYPTION-PRIVATE-LIM...

    [3]https://zenodo.org/search?q=metadata.creators.person_or_org....

  3. hedora

    이게 양자화와 잘 조합되나요?

    구체적으로, 예를 들어 1.5비트나 4비트 양자화로 시작한 다음 이걸 실행하면, 모델 동작의 추가 저하 없이 0.5~1.5비트 크기의 결과물을 얻을 수 있나요?

  4. Roark66

    음, 이건 3배 이상의 "기능적으로 무손실" 압축을 주장하네요. 하지만 시작점이 어디인가요? bf16인가요 fp16인가요? 그렇다면 현재 양자화 기법들보다 얼마나 더 나은가요?

    중간 크기의 dense 모델에서 테스트해야 합니다. 예를 들어 Qwen3.8-27B 같은 거요. 4.5비트로 양자화하는 것보다 얼마나 더 나은가요?

  5. mapcars

    그러니까 이건 로컬 모델을 더 접근하기 쉽게 만드는 데 아주 좋은 거죠?

이 날의 다른 글

2026-11-10