Baidu veröffentlicht ERNIE 5.5 Flash Base als offenen Startpunkt für eigenes Training
Baidu released ERNIE 5.5 Flash Base
Baidu gibt die Basisgewichte von ERNIE-5.5-Flash-Base frei: ein sparse Mixture-of-Experts-Modell mit 280B Parametern, von denen pro Token nur 14B aktiv sind, vortrainiert auf 33,5T Tokens. Der Checkpoint stammt direkt aus dem Pre-Training, ohne Mid- oder Post-Training, und lässt sich auf 1M-Token-Kontext feinjustieren. Die Architektur setzt auf hybrid sparse attention, Multi-Router Latent MoE und ein neuartiges ECHO-Verfahren statt klassischer MTP-Module – gedacht als saubere Forschungsbasis für Domänenanpassung und Agenten-Training.
Wir hoffen, dass diese Veröffentlichung mehr Entwicklern die Kosten für groß angelegtes Pre-Training erspart, damit sie ihre eigenen Ressourcen in die Fähigkeiten, Aufgaben und Trainingsmethoden stecken können, die ihnen wichtig sind.