Neutrino-1 8B:3.88GB模型通吃GPU与MacBook

Fermion Research 推出的 Neutrino-1 8B 模型打破了硬件壁垒,仅需 3.88GB 即可在 H100 数据中心显卡、MacBook 甚至普通 CPU 上无缝运行。该模型采用独特的三元权重格式,将参数量压缩为 fp16 的八分之一,同时保持 72.1 的 MMLU 得分。在 H100 上配合 Spec decode 技术,其生成速度高达 763 tok/s;而在 Apple M5 芯片上,单线程解码也能达到 25 tok/s。这种“一次打包,多端运行”的架构,让大模型部署彻底摆脱了昂贵的硬件依赖。
Neutrino-1 8B 是 Neutrino 家族的旗舰产品:36 层解码器封装在一个编码的三元族容器中,能够从同一个文件为数据中心 GPU、MacBook 和桌面 CPU 提供服务。