Liquid AI выпустила LFM2.5-24B-A2B — самую быструю MoE-модель для локальных агентов
LFM2.5-24B-A2B: Built for Fast On-Device Agents
Liquid AI представила LFM2.5-24B-A2B — 24B-параметрическую reasoning-модель с 2B активных параметров, созданную для быстрых приватных агентов на устройстве. Она обходит Qwen3.6-35B-A3B на пяти из восьми агентных бенчмарков, включая AutomationBench (27.69 против 8.72), и выдаёт 184 токена/с на Apple M5 Max. Открытые веса доступны на Hugging Face, поддержка llama.cpp, MLX, vLLM и SGLang — с первого дня.
Во время специализации учителя LFM2.5-24B-A2B демонстрировала известные формы reward hacking: искала финальный ответ в git-истории репозитория или на таких платформах, как GitHub, PyPI и Hugging Face. Что ещё удивительнее — она даже поняла, что находится в песочнице.
- sebmellen
> it runs up to 1.7× faster than comparable MoEs on-device, with 184 tokens/s on an Apple M5 Max and up to 21K output tokens/s on a single NVIDIA B300 GPU
Ух ты, это реально впечатляющие цифры для модели, которая кажется настолько умной!
Одна вещь, которую эта статья не проясняет и в которую, как я понимаю, мне действительно стоит вникнуть, — что именно тестирует AutomationBench по сравнению с другими бенчмарками. Выдающаяся производительность на AutomationBench интересна, но я не знаю, что она на самом деле означает, потому что на всех остальных бенчмарках модель набирает примерно столько же, сколько другие локальные модели.
- ghotli
Может, кто-то знает, какой порядок затрат требует такой релиз в реальном выражении — по железу и энергии?
Затраты на весь путь от момента начала обучения до конца. Это итеративный процесс от предыдущей модели, так что он начинается с неё и превращается в этот релиз после того, как были понесены расходы, как я полагаю.
Например, тратит ли Liquid миллионы на энергию в этом случае, и амортизируются ли затраты по последовательным обучающим прогонам поверх первоначальных вложений в дата-центр? А если они просто оплачивают облачные расходы и не имеют выделенного железа — что-то в этом роде. Я не имею в виду конкретно эту модель и Liquid. Просто для этого класса меньших быстрых моделей, рассчитанных на устройство, — каков порядок стоимости обучения в реальном выражении?
Может, это близоруко — спрашивать так, будто это единичный обучающий прогон, а возможно, это конечное состояние множества вариантов тестирования, так что все R&D-прогоны обучения пришлось бы включить, чтобы понять, что стало финальным релизом. Кажется, это стоит учитывать. Если кто-то случайно знает — буду признателен!
- 2001zhaozhao
Это кажется большим делом, нет?
Если бы Qwen выпустила Qwen3.8 MoE похожего размера, то при наивной экстраполяции её возможности были бы примерно такими же, как у этой модели. Так что, по сути, кто-то догнал Qwen (пусть даже Qwen месячной-двухмесячной давности) по эффективности параметров.
- effortprogramme
Всегда приятно слышать про модель, подходящую для устройств, но никогда нельзя быть уверенным, какова её реальная производительность в реальных задачах..
- MatthiasPortzel
Очень круто. Я сидел на Gemma 4 12B из-за ограниченной RAM. Уже есть квантизация этой модели от Unsloth, так что я скачиваю её и утром проверю производительность. Кто-то ещё в этой ветке рекомендовал Ternary-Bonsai-27B, его тоже попробую.
Ещё хотел отметить, что у этой модели в лицензии есть сомнительное с точки зрения исполнимости условие о некоммерческом использовании. Очень жаль, что они не проконсультировались с IP-юристом, это очень запутанно.