Aleph Alpha veröffentlicht Kolibri: Ein souveränes europäisches Modell auf der Pareto-Grenze
Kolibri – Tech Report [pdf]
Aleph Alpha stellt Kolibri vor, einen englisch-deutschen Mixture-of-Experts-Transformer mit 78,1 Milliarden Gesamtparametern, von denen pro Token nur 3,46 Milliarden aktiv sind. Das Modell wird als Open Weights unter der Apache-2.0-Lizenz veröffentlicht und ist auf souveräne sowie spezialisierte Anwendungen in regulierten Bereichen wie öffentlicher Verwaltung, Industrie und Luft- und Raumfahrt ausgerichtet. Trainiert auf 24 Billionen Token, davon über 20 Prozent Deutsch, erreicht Kolibri in Benchmarks die Pareto-Grenze aus Qualität und Serving-Kosten.
Wir haben Kolibri für souveräne und spezialisierte Bereitstellung entwickelt, mit besonderem Fokus auf Deutsch und auf regulierte Domänen wie öffentliche Verwaltung, Industrie und Luft- und Raumfahrt.
- senko
Da es sich um ein PDF handelt, hier ein Auszug aus der Zusammenfassung:
> Dieser Bericht stellt Kolibri vor, einen englisch-deutschen Mixture-of-Experts-Transformer mit insgesamt 78,1B Parametern und 3,46B aktiven Parametern pro Token, der als offene Gewichte unter der Apache-2.0-Lizenz veröffentlicht wird.
> Wir haben Kolibri für souveränen und spezialisierten Einsatz entwickelt, mit besonderem Fokus auf Deutsch und auf regulierte Bereiche wie öffentliche Verwaltung, Industrie und Luft- und Raumfahrt. Um diese Umgebungen zu unterstützen, kontrollieren wir den gesamten Modellentwicklungsprozess, einschließlich Daten, Architektur, Trainingsinfrastruktur, Post-Training und Evaluierung.
Duplikat von https://news.ycombinator.com/item?id=49942706