SPECTRA сжимает любую LLM втрое за один клик, почти без потерь и в пределах 50 МБ ОЗУ
Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM
SPECTRA — это архитектура сжатия нейросетей, которая уменьшает размер любой LLM примерно в 3 раза, почти не теряя качества, при этом для работы ей нужно меньше 50 МБ оперативной памяти. Она обходит ограничения традиционных методов квантования, используя теорию скорость-искажение Шеннона, изоляцию выбросов по куртозису и групповое микрошкалирование. Подход не требует калибровки, работает с моделями на основе Mamba-2 и других нетрансформерных архитектур, а также включает оптимизированные Triton-ядра для инференса на периферийных устройствах.
Теорема Шеннона о кодировании источника доказывает, что ни один алгоритм сжатия без потерь не сможет сжать веса модели в FP16 сильнее, чем в 1,19 раза.
- velox
Я не читал всё целиком, но не уверен, что понимаю, в чём выгода по сравнению с использованием существующей, например, 4-битной квантизации рассматриваемой модели.
- goodmythical
Было бы интересно, если бы можно было проверить любое из этих утверждений через репутацию кого-либо из участников исследования.
Судя по всему, всё приписывается "NeuraCryption Private Limited", которая была зарегистрирована совсем недавно [0][1][2] по адресу, который делят несколько других недавно зарегистрированных компаний [прокрутите вниз на 0], и это их самое первое предложение согласно ссылке на zenodo, которую они предоставили [3].
Кроме того, глядя на код, это выглядит как стандартный квантизатор...
То есть... не существует известного метода, которым можно было бы по-настоящему сжать файл весов в десятки гигабайт до трети размера, используя всего 50 МБ ОЗУ.
[0]https://www.zaubacorp.com/NEURACRYPTION-PRIVATE-LIMITED-U620...
[1]https://www.registerkaro.in/company/neuracryption-private-li...
[2]https://www.falconebiz.com/company/NEURACRYPTION-PRIVATE-LIM...
[3]https://zenodo.org/search?q=metadata.creators.person_or_org....
- hedora
Хорошо ли это сочетается с квантизацией?
Конкретно: если начать, скажем, с 1,5- или 4-битной квантизации, а затем применить это, получится ли что-то размером в 0,5–1,5 бита без дальнейшей деградации поведения модели?
- Roark66
Хм, здесь заявляют о "функционально безlossной" компрессии более чем в 3 раза. Но где точка отсчёта? Bf16 или fp16? Если так, то насколько это лучше текущих методов квантизации?
Это стоило бы протестировать на плотной модели среднего размера. Например, Qwen3.8-27B. Насколько это лучше, чем квантизация до 4,5 бит?
- mapcars
Так это же очень хорошо для того, чтобы сделать локальные модели более доступными, верно?