Aleph Alpha lanza Kolibri, un modelo europeo soberano que compite en la frontera de Pareto
Kolibri – Tech Report [pdf]
Aleph Alpha presenta Kolibri, un transformer Mixture-of-Experts inglés-alemán de 78.1B parámetros totales y 3.46B activos por token, publicado como open weights bajo licencia Apache 2.0. Entrenado con 24T tokens, más del 20% en alemán, y post-entrenado con RL sobre más de 1.2M tareas internas, el modelo se sitúa en la frontera de Pareto de calidad y coste de servicio entre los modelos abiertos evaluados en ambos idiomas.
Entre los modelos abiertos evaluados en este informe, se sitúa en la frontera de Pareto de calidad y coste de servicio en inglés y alemán.
- senko
Como es un PDF, aquí tienes un extracto del resumen:
> Este informe presenta Kolibri, un transformer Mixture-of-Experts inglés–alemán con 78,1B de parámetros totales y 3,46B de parámetros activos por token, publicado como pesos abiertos bajo la licencia Apache 2.0.
> Construimos Kolibri para un despliegue soberano y especializado, con especial atención al alemán y a dominios regulados como la administración pública, la industria y la aeroespacial. Para respaldar estos entornos, controlamos todo el proceso de desarrollo del modelo, incluidos los datos, la arquitectura, la infraestructura de entrenamiento, el post-entrenamiento y la evaluación.
Duplicado de https://news.ycombinator.com/item?id=49942706