Baidu 开源 ERNIE 5.5 Flash Base 基座模型
Baidu released ERNIE 5.5 Flash Base
Baidu 正式开源 ERNIE 5.5 Flash Base，这是一个拥有 2800 亿总参数、每 token 激活 140 亿参数的稀疏 MoE 模型。该模型基于 33.5T tokens 从头预训练，原生支持 128K 上下文，并可在微调与推理中扩展至 1M。此次发布的是预训练结束时的原始权重，未经任何中后期训练，旨在为开发者提供高效的领域适配与强化学习起点。架构上，它融合了 Hybrid MLA + HCA 混合注意力、Multi-Router Latent MoE 以及 ECHO 机制，在保持推理效率的同时显著提升了长上下文理解与代码推理能力。
ERNIE 5.5 Flash 在架构的每一个组件中重新审视了能力与效率之间的权衡，从注意力机制和残差连接到 MoE 层及输出头，综合考量了激活计算量、KV 缓存和长上下文成本。