Soofi S: el modelo abierto alemán de 30B que supera a todos en inglés y alemán
German AI consortium releases Soofi S, an open 30B model that tops benchmarks
Un consorcio alemán coordinado por KI Bundesverband ha lanzado Soofi S 30B-A3B, un modelo de lenguaje abierto que, según su informe de preentrenamiento, logra las puntuaciones más altas en benchmarks de inglés y alemán entre los modelos completamente abiertos, superando a OLMo 3 32B y Apertus 70B. Con una arquitectura híbrida Mamba-Transformer y solo 3.2 mil millones de parámetros activos, mantiene un rendimiento constante incluso con contextos de hasta 256,000 tokens. Entrenado en la nube industrial de Deutsche Telekom en Múnich, destaca por su enfoque en datos alemanes y su apertura documentada.
Hay investigaciones nuevas que muestran que las leyes de escalado antiguas de los modelos densos ya no se aplican a las arquitecturas MoE.