Aleph Alpha、ドイツ語特化のMoEモデル「Kolibri」をApache 2.0で公開
Kolibri – Tech Report [pdf]
Aleph Alphaが総パラメータ78.1B、トークンあたり3.46Bを活性化する英語・ドイツ語のMixture-of-Expertsモデル「Kolibri」をApache 2.0ライセンスで公開した。公共部門や産業、航空宇宙など規制の厳しい領域での主権的利用を想定し、ドイツ語がデータの20%以上を占める。24Tトークンで事前学習し、120万以上のタスクで強化学習を実施。オープンモデルの中でも品質と提供コストのパレートフロンティアに位置する。
Kolibriは、主権的かつ専門的な展開のために構築され、特にドイツ語と、公共部門、産業、航空宇宙などの規制対象領域に焦点を当てている。
- senko
PDFなので、要約から抜粋を載せておきます：
> 本レポートでは、総パラメータ数78.1B、トークンあたりのアクティブパラメータ数3.46Bの英語・ドイツ語Mixture-of-ExpertsトランスフォーマーであるKolibriを紹介します。Apache 2.0ライセンスの下、オープンウェイトとして公開されています。
> 私たちはKolibriを、主権的かつ専門的なデプロイメント、とりわけドイツ語、および公共行政・産業・航空宇宙といった規制対象領域に重点を置いて構築しました。こうした環境を支えるため、データ、アーキテクチャ、トレーニング基盤、ポストトレーニング、評価を含むモデル開発プロセス全体を私たちが管理しています。