Baidu、ERNIE 5.5 Flash Baseの重みを公開——280BのMoEモデルをゼロから学習

Baidu dropped ERNIE 5.5 Flash Base

Baiduが公開したERNIE-5.5-Flash-Baseは、総パラメータ280B（トークンあたり14Bを活性化）のスパースMoEモデル。33.5Tトークンでゼロから事前学習し、128Kの学習コンテキストと1Mトークンの推論コンテキストに対応する。中間学習・事後学習を一切施していない事前学習完了時点のチェックポイントで、ドメイン適応や強化学習の研究基盤として自由に使える出発点を提供する狙いだ。