2.6B 小模型竟能匹敌 4 倍大模型

LFM2.5 2.6B model competitive with 4x larger models

LiquidAI 发布了最新的 LFM2.5-2.6B 模型，这是一款专为端侧部署设计的混合架构模型。尽管参数量仅为 2.6B，但其在工具调用、指令遵循及多步骤代理任务上的表现，竟能与 4 倍体积的模型相媲美。该模型拥有 128K 的上下文窗口，并经过专门的代理强化学习训练，在 Apple M5 Max 上推理速度可达 220 tok/s，在 AMD Ryzen CPU 上也能达到 113 tok/s，且内存占用低于 2.5 GB。无论是通过 Hugging Face Space 直接体验，还是利用 llama.cpp、vLLM 等框架进行本地部署，LFM2.5-2.6B 都展现了在边缘设备上运行高效智能代理的巨大潜力。