Aleph Alpha выпустила Kolibri — немецкую open-weights модель на границе Парето
Kolibri – Tech Report [pdf]
Aleph Alpha представила Kolibri — англо-немецкий Mixture-of-Experts трансформер на 78,1 млрд параметров, из которых активны лишь 3,46 млрд на токен. Модель обучена на 24 трлн токенов, более 20% данных — немецкие, и выложена под лицензией Apache 2.0. Среди открытых моделей Kolibri находится на границе Парето по качеству и стоимости обслуживания, обеспечивая в 1,6 раза большую пропускную способность и до 24,4 балла превосходства в немецком и английском.
Модель активирует 4,4% своих параметров на токен, и среди открытых моделей, оценённых в этом отчёте, она лежит на границе Парето по качеству и стоимости обслуживания в английском и немецком.
- senko
Раз это PDF, вот выдержка из резюме:
> В этом отчёте представлена Kolibri — англо-немецкий трансформер Mixture-of-Experts с общим числом параметров 78,1 млрд и 3,46 млрд активных параметров на токен, выпущенный как открытые веса под лицензией Apache 2.0.
> Мы создали Kolibri для суверенного и специализированного развёртывания, с особым акцентом на немецкий язык и на регулируемые домены, такие как государственное управление, промышленность и аэрокосмическая отрасль. Чтобы поддержать эти сценарии, мы контролируем весь процесс разработки модели, включая данные, архитектуру, инфраструктуру обучения, пост-обучение и оценку.