Baidu выложила в открытый доступ базовую модель ERNIE 5.5 Flash на 280 млрд параметров
Baidu released ERNIE 5.5 Flash Base
Baidu выпустила ERNIE-5.5-Flash-Base — разреженную MoE-модель с 280 млрд параметров, из которых 14 млрд активируются на каждый токен. Её обучили с нуля на 33,5 трлн токенов с контекстом до 128K, а для дообучения и инференса поддерживается 1M токенов. Это чистый чекпоинт после предобучения, без mid- и post-training: разработчики могут сами строить на нём доменную адаптацию, instruction tuning и RL-исследования. Архитектура с гибридным разреженным вниманием и Multi-Router Latent MoE нацелена на дешёвое дообучение и инференс.
Мы надеемся, что этот релиз избавит больше разработчиков от затрат на крупномасштабное предобучение, чтобы они могли направить собственные ресурсы на те возможности, задачи и методы обучения, которые им важны.