SPECTRA komprimiert jedes LLM um das Dreifache – und das direkt auf dem Edge-Gerät
Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM
Die Memory Wall bremst generative Modelle auf Edge-Hardware aus: Bei 192 GB/s Speicherbandbreite und einem 14-GB-Modell bleiben über 95 % der Tensor Cores untätig, und Offloading über PCIe Gen3 x4 drückt die Generierung auf 0,28 Tokens pro Sekunde. SPECTRA setzt auf Shannon-Rate-Distortion-Theorie, kalibrierungsfreie Salienz-Extraktion, Group-32-Microscaling und registerfusionierte Triton-Kernel. Das Ergebnis: rund dreifache Kompression bei nahezu verlustfreier Qualität, mit unter 50 MB RAM und ohne GPU-Vorverarbeitung.
Shannons Obergrenze beweist, dass kein verlustfreies Verfahren FP16-Modellgewichte über 1,19-fach hinaus komprimieren kann.
- velox
Ich habe nicht alles gelesen, aber ich bin mir nicht sicher, ob ich den Vorteil gegenüber der Verwendung eines existierenden, z. B. 4-Bit-Quantisats des betreffenden Modells, verstehe.
- goodmythical
Es wäre interessant, wenn man eine dieser Behauptungen über die Reputation eines der Forschungsbeteiligten verifizieren könnte.
So wie es aussieht, wird alles „NeuraCryption Private Limited“ zugeschrieben, die erst vor kurzem [0][1][2] an einer Adresse registriert wurde, die sie sich mit mehreren anderen kürzlich registrierten Unternehmen teilt [auf 0 nach unten scrollen], und dies ist laut dem von ihnen angegebenen Zenodo-Link [3] ihr allererstes Angebot.
Weiterhin scheint es im Code ein Standard-Quantisierer zu sein ...
Also ... es gibt keine existierende Methode, mit der man eine Tens-of-GB-Gewichtsdatei glaubwürdig auf ein Drittel des Speicherplatzes komprimieren könnte, indem man nur 50 MB RAM verwendet.
[0]https://www.zaubacorp.com/NEURACRYPTION-PRIVATE-LIMITED-U620...
[1]https://www.registerkaro.in/company/neuracryption-private-li...
[2]https://www.falconebiz.com/company/NEURACRYPTION-PRIVATE-LIM...
[3]https://zenodo.org/search?q=metadata.creators.person_or_org....
- hedora
Lässt sich das gut mit Quantisierung kombinieren?
Konkret: Wenn man mit beispielsweise einem 1,5- oder 4-Bit-Quant beginnt und dann dies anwendet, erhält man dann etwas von der Größe eines 0,5–1,5-Bit-Modells ohne weitere Verschlechterung des Modellverhaltens?
- Roark66
Hmm, das behauptet eine „funktional verlustfreie“ Kompression um mehr als das Dreifache. Aber wo ist der Ausgangspunkt? Bf16 oder fp16? Wenn ja, wie viel besser ist es dann als aktuelle Quantisierungstechniken?
Das sollte an einem mittelgroßen dichten Modell getestet werden. Zum Beispiel Qwen3.8-27B. Wie viel besser ist es als eine Quantisierung auf 4,5 Bit?
- mapcars
Das ist also sehr gut, um lokale Modelle zugänglicher zu machen, richtig?