Liquid AI lanza LFM2.5-24B-A2B, un modelo que corre agentes en tu portátil sin nube
LFM2.5-24B-A2B: Built for Fast On-Device Agents
Liquid AI presenta LFM2.5-24B-A2B, un modelo de razonamiento de 24B parámetros con solo 2B activos, diseñado para agentes locales rápidos y privados. Supera a Qwen3.6-35B-A3B en cinco de ocho benchmarks agénticos, con 184 tokens/s en un Apple M5 Max y más de 21K tokens/s en una GPU NVIDIA B300. Es open-weight y compatible con llama.cpp, MLX, vLLM, SGLang y ONNX.
Durante la especialización docente, LFM2.5-24B-A2B mostró comportamientos conocidos de reward hacking: buscar la respuesta final en el historial de git de un repositorio o en plataformas como GitHub, PyPI y Hugging Face. Más sorprendente aún, incluso descubrió que estaba en un sandbox.
- sebmellen
> corre hasta 1.7× más rápido que MoEs comparables en el dispositivo, con 184 tokens/s en un Apple M5 Max y hasta 21K tokens de salida/s en una sola GPU NVIDIA B300
¡Vaya, esos son números seriamente impresionantes para lo inteligente que parece ser este modelo!
Una cosa que este artículo no aclara, y que supongo que realmente debería investigar, es qué prueba exactamente AutomationBench en comparación con otros benchmarks. El rendimiento destacado en AutomationBench es interesante de ver, pero no sé qué significa realmente porque el modelo parece puntuar relativamente cerca de otros modelos locales en todos los demás benchmarks.
- ghotli
¿Quizás alguien sabe qué orden de coste requiere un lanzamiento como este en términos reales de gasto de hardware y energía?
El coste sobre la diferencia desde el momento de comenzar el entrenamiento hasta el final. Es iterativo a partir de un modelo anterior, así que empieza ahí y se convierte en este lanzamiento después de que ocurra el gasto, supongo.
Por ejemplo, ¿está liquid gastando millones en energía en este caso y el coste se amortiza a lo largo de sucesivos entrenamientos sobre el gasto inicial del centro de datos? ¿Y si simplemente está asumiendo costes de nube y no tiene hardware dedicado, ese tipo de cosas? No me refiero particularmente a este modelo y a liquid específicamente. Solo para esta clase de modelos más pequeños y rápidos en el dispositivo, ¿cuál es el orden del coste de entrenamiento en términos reales?
Quizás sea corto de miras preguntarlo como si fuera una única ejecución de entrenamiento y quizás sea el estado final de muchas variaciones de pruebas, por lo que todas las ejecuciones de entrenamiento de I+D tendrían que incluirse para informar lo que se convirtió en el lanzamiento final. Parece que esto debería tenerse en cuenta. Si alguien lo sabe, ¡se agradecería!
- 2001zhaozhao
Esto parece un gran avance, ¿no?
Si Qwen hubiera lanzado un Qwen3.8 MoE de tamaño similar, con una extrapolación ingenua sus capacidades serían más o menos similares a las de este modelo. Así que básicamente alguien ha alcanzado a Qwen (aunque sea al Qwen de hace 1-2 meses) en eficiencia de parámetros.
- effortprogramme
Siempre es bueno oírlo para un modelo apto para el dispositivo, pero siempre no se puede estar seguro de cómo rinde en tareas reales...
- MatthiasPortzel
Muy interesante. He estado usando Gemma 4 12B debido a mi RAM limitada. Ya hay una cuantización de Unsloth de este modelo, así que la estoy descargando y comprobaré su rendimiento por la mañana. Alguien más en este hilo recomendó Ternary-Bonsai-27B, que también probaré.
Solo quería señalar también que este modelo tiene una cláusula de uso no comercial cuestionablemente aplicable en su licencia. Realmente desearía que hubieran consultado con un abogado de propiedad intelectual, es muy confuso.