LittleBit：LLM压缩突破0.1比特极限

Sub-1-Bit LLM Compression via Latent Factorization

SamsungLabs推出的LittleBit项目正在重新定义大语言模型的压缩边界。通过潜空间分解技术，该方案将模型权重压缩至0.1比特/权重的亚1比特区间，同时利用轻量级学习比例恢复幅度信息，确保推理时模型架构不变。其升级版LittleBit-2进一步引入Joint-ITQ初始化策略，解决潜几何对齐问题，在无需增加推理开销的前提下显著提升性能。该项目支持Llama、Qwen、Gemma等主流模型，并兼容Quantization-Aware Training，为端侧部署和低成本推理提供了极具潜力的解决方案。