Baidu, ERNIE 5.5 Flash Base 공개…280B 파라미터 중 14B만 활성화
Baidu dropped ERNIE 5.5 Flash Base
Baidu가 사전학습만 마친 ERNIE-5.5-Flash-Base 가중치를 공개했다. 전체 280B 파라미터 중 토큰당 14B만 활성화하는 희소 MoE 모델로, 33.5T 토큰으로 처음부터 학습했고 128K 학습 문맥과 1M 토큰 추론 문맥을 지원한다. 하이브리드 희소 어텐션, Multi-Router Latent MoE, mHC, MultiMax, ECHO 등 효율 중심 설계를 적용해 이후 파인튜닝과 에이전트 연구의 출발점을 제공한다.
단일 라우터의 점수는 각 전문가가 실제로 얼마나 유용한지와 약하게만 상관관계를 보이며, 특히 중간 및 깊은 층에서 그렇다.