SPECTRA comprime cualquier LLM 3 veces con solo 50 MB de RAM y sin perder calidad
Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM
SPECTRA es un motor de compresión para modelos de lenguaje que logra ratios de 3x con una degradación funcional mínima, usando solo 50 MB de RAM. Se basa en la teoría de tasa-distorsión de Shannon, extracción de saliencia topológica sin calibración, microescalado Group-32 y kernels Triton fusionados en registros. Resuelve la incompatibilidad con arquitecturas no transformer como Mamba-2 y elimina la necesidad de preprocesamiento costoso, permitiendo compresión dinámica en dispositivos edge con 4 GB de VRAM.
El techo de Shannon demuestra que ningún algoritmo sin pérdidas puede comprimir los pesos de un modelo FP16 más allá de 1.19x.
- velox
No he leído todo el artículo, pero no estoy seguro de entender el beneficio de esto frente a usar, por ejemplo, una cuantización de 4 bits ya existente del modelo en cuestión.
- goodmythical
Sería interesante si uno pudiera verificar alguna de estas afirmaciones mediante la reputación de cualquiera de los participantes en la investigación.
Tal como están las cosas, todo se atribuye a "NeuraCryption Private Limited", que se registró muy recientemente [0][1][2] en una dirección compartida por varias otras empresas registradas recientemente [desplázate hacia abajo en 0], y esta es su primera oferta según el enlace de zenodo que proporcionaron [3].
Además, mirando el código, parece ser un cuantizador estándar...
O sea... no existe ningún método existente mediante el cual se pueda comprimir genuinamente un archivo de pesos de decenas de GB a un tercio del espacio usando solo 50 MB de RAM.
[0]https://www.zaubacorp.com/NEURACRYPTION-PRIVATE-LIMITED-U620...
[1]https://www.registerkaro.in/company/neuracryption-private-li...
[2]https://www.falconebiz.com/company/NEURACRYPTION-PRIVATE-LIM...
[3]https://zenodo.org/search?q=metadata.creators.person_or_org....
- hedora
¿Esto se combina bien con la cuantización?
Concretamente, si empiezas con, digamos, una cuantización de 1.5 o 4 bits, y luego ejecutas esto, ¿obtienes algo del tamaño de 0.5 - 1.5 bits sin una degradación adicional en el comportamiento del modelo?
- Roark66
Hmm, esto afirma una compresión "funcionalmente sin pérdidas" de más de 3x. Pero ¿dónde está el punto de partida? ¿Bf16 de fp16? Si es así, ¿cuánto mejor es que las técnicas de cuantización actuales?
Esto debería probarse en un modelo denso de tamaño medio. Por ejemplo, Qwen3.8-27B. ¿Cuánto mejor es que la cuantización a 4.5 bits?
- mapcars
Entonces esto es muy bueno para hacer que los modelos locales sean más accesibles, ¿verdad?