Baidu libera ERNIE 5.5 Flash Base: 280B parámetros y contexto de 1M tokens para entrenar desde cero
Baidu released ERNIE 5.5 Flash Base
Baidu publica ERNIE-5.5-Flash-Base, un modelo MoE disperso de 280B parámetros totales (14B activos por token) preentrenado desde cero con 33.5T tokens y contexto de hasta 128K, ampliable a 1M para fine-tuning e inferencia. El checkpoint, sin mid- ni post-training, incorpora atención híbrida MLA/HCA, Multi-Router Latent MoE, mHC, la cabeza MultiMax y ECHO en lugar de MTP. El objetivo es ofrecer una base abierta y eficiente para adaptación de dominio, instrucciones y aprendizaje por refuerzo.
Publicar los pesos al final del preentrenamiento permite a los desarrolladores apoyarse en las capacidades generales ya adquiridas y decidir por sí mismos hacia dónde llevar el modelo.