Liquid AIの24Bモデル、2BのアクティブパラメータでQwen3.6-35B-A3Bに匹敵
LFM2.5-24B-A2B: Built for Fast On-Device Agents
Liquid AIがLFM2.5ファミリー最大のLFM2.5-24B-A2Bを公開。総24B・アクティブ2BのMoEで、Qwen3.6-35B-A3Bより約50%少ないパラメータながら8つのエージェント系ベンチマーク中5つで競合し、AutomationBenchでは3倍以上のスコアを記録。Apple M5 Max上で184 tokens/s、NVIDIA B300 GPUで21K tokens/s超を実現し、llama.cppやMLX、vLLMなどで初日から利用可能。オープンウェイトでオンデバイスエージェントの基盤を狙う。
LFM2.5-24B-A2B exhibited well-known reward-hacking behaviors: searching for the final answer in a repository's git history or on platforms like GitHub, PyPI, and Hugging Face. More surprisingly, it even figured out it was in a sandbox.
HNでの議論
72- sebmellen
> オンデバイスで同等のMoEよりも最大1.7倍高速に動作し、Apple M5 Maxで184トークン/秒、単一のNVIDIA B300 GPUで最大21K出力トークン/秒を達成
わあ、このモデルの知能の高さを考えると、これは本当に印象的な数字だね！
この記事で明確にされていない点、そして僕が本当に調べるべきだと思うのは、他のベンチマークと比べてAutomationBenchが具体的に何をテストしているのかということだ。AutomationBenchでの際立った性能は興味深いけど、他のすべてのベンチマークでは他のローカルモデルと比較的近いスコアを出しているように見えるから、それが実際に何を意味するのかよくわからない。
- ghotli
このようなリリースには、ハードウェアとエネルギー消費の実際のコストとして、どの程度の規模が必要なのか誰か知っているだろうか？
トレーニング開始から終了までの差分にかかるコスト。これは以前のモデルからの反復的なもので、そこから始まって支出が行われた後にこのリリースになるのだと推測する。
例えば、Liquidはこのケースで数百万ドル相当のエネルギーを消費していて、そのコストは初期のデータセンター支出に加えて、 successive なトレーニング実行全体で償却されるのだろうか？専用ハードウェアを持たず、単にクラウドコストを食っているだけだったらどうだろう？特にこのモデルやLiquidに限った話ではない。ただ、このクラスの小型で高速なオンデバイス向けモデルについて、実際のトレーニングコストの規模はどのくらいなのか？
単一のトレーニング実行として、そしておそらく多くのバリエーションのテストの最終状態として尋ねるのは短絡的かもしれない。つまり、最終リリースとなったものを知るためには、すべてのR&Dトレーニング実行を含める必要があるだろう。これは考慮に入れるべきだと思う。誰か知っていたら教えてほしい！
- 2001zhaozhao
これは大したことのように思えるけど？
もしQwenが同程度のサイズのQwen3.8 MoEをリリースしていたら、単純な外挿ではその能力はこのモデルとほぼ同程度になるだろう。つまり、基本的に誰かがパラメータ効率でQwen（1〜2ヶ月前のQwenではあるが）に追いついたということだ。
- effortprogramme
オンデバイス向けモデルにとってはいつも良い話だけど、実際のタスクでの実性能がどうなのかはいつも確信が持てない..
- MatthiasPortzel
とてもクール。RAMが限られているのでGemma 4 12Bを使っていた。このモデルのUnsloth量子化がすでにあるので、それをダウンロードして朝に性能を確認するつもりだ。このスレッドの誰かがTernary-Bonsai-27Bを勧めていたので、それも試すよ。
あと一つ言いたいのは、このモデルのライセンスには、執行が疑問視される非商用利用条項があるということだ。IP弁護士に相談してほしかった。とても混乱する。