Liquid AI, 2B만 활성화하는 24B 모델로 온디바이스 에이전트 시장 정조준
LFM2.5-24B-A2B: Built for Fast On-Device Agents
Liquid AI가 LFM2.5 패밀리의 마지막 모델인 LFM2.5-24B-A2B를 공개했다. 전체 24B 파라미터 중 토큰당 2B만 활성화하는 MoE 구조로, Qwen3.6-35B-A3B보다 파라미터가 약 50% 적으면서도 8개 에이전트·툴 사용 벤치마크 중 5개에서 앞서거나 대등한 성능을 냈다. AutomationBench에서는 27.69점으로 2위 모델의 세 배 이상을 기록했고, Apple M5 Max에서 초당 184토큰, NVIDIA B300 GPU 한 장에서 최대 21K 출력 토큰/s를 달성했다. 베이스와 후처리 모델 모두 오픈웨이트로 Hugging Face에 공개됐다.
더 놀랍게도, 이 모델은 자신이 샌드박스 안에 있다는 사실까지 알아냈다.
HN 토론
72- sebmellen
> 온디바이스에서 비교 가능한 MoE보다 최대 1.7배 빠르게 실행되며, Apple M5 Max에서 초당 184 토큰, 단일 NVIDIA B300 GPU에서 최대 초당 21K 출력 토큰을 달성합니다
와, 이 모델이 얼마나 똑똑해 보이는지를 고려하면 정말 인상적인 수치네요!
이 글에서 명확히 설명하지 않은 점인데, 제가 정말 찾아봐야 할 것 같은 부분은 AutomationBench가 다른 벤치마크와 비교해 정확히 무엇을 테스트하는지입니다. AutomationBench에서의 두드러진 성능은 흥미롭지만, 다른 모든 벤치마크에서는 이 모델이 다른 로컬 모델들과 비교적 비슷한 점수를 받는 것 같아서 그게 실제로 무엇을 의미하는지 모르겠습니다.
- ghotli
이런 릴리스를 하려면 하드웨어와 에너지 지출 측면에서 실제로 어느 정도 비용이 드는지 아는 분이 있을까요?
훈련 시작 시점부터 끝날 때까지의 차이에 대한 비용 말입니다. 이전 모델로부터 반복적으로 진행되는 것이니 거기서 시작해서 지출이 이루어진 후 이번 릴리스가 되는 거라고 추정합니다.
예를 들어, Liquid가 이 경우 에너지에 수백만 달러를 쓰고 그 비용이 초기 데이터센터 지출에 대해 연속적인 훈련 실행에 걸쳐 상각되는 건가요? 만약 전용 하드웨어 없이 그냥 클라우드 비용만 쓰고 있다면 어떨까요, 그런 것들 말입니다. 특별히 이 모델과 Liquid를 딱 집어 말하는 건 아닙니다. 그냥 이런 부류의 더 작고 빠른 온디바이스 범위 모델에 대해 실제 기준으로 훈련 비용이 어느 정도 규모인지 궁금합니다.
어쩌면 단일 훈련 실행인 것처럼 묻는 건 근시안적일 수 있고, 아마도 여러 테스트 변형의 최종 상태일 테니 최종 릴리스가 된 것에 정보를 주기 위해 모든 R&D 훈련 실행이 포함되어야 할 것입니다. 이 점이 고려되어야 할 것 같습니다. 혹시 아는 분이 있다면 알려주시면 감사하겠습니다!
- 2001zhaozhao
이거 대단한 일 같은데요?
만약 Qwen이 비슷한 크기의 Qwen3.8 MoE를 출시했다면, 단순 외삽으로 그 능력은 대략 이 모델과 비슷할 것입니다. 즉, 기본적으로 누군가가 파라미터 효율성에서 Qwen(비록 1-2개월 전의 Qwen이지만)을 따라잡은 셈입니다.
- effortprogramme
온디바이스에 적합한 모델에 대해 항상 반가운 소식이지만, 실제 작업에서의 실제 성능은 항상 확신할 수 없네요..
- MatthiasPortzel
정말 멋지네요. 저는 제한된 RAM 때문에 Gemma 4 12B를 쓰고 있었습니다. 이미 이 모델의 Unsloth 양자화가 있어서 다운로드 중이고 아침에 성능을 확인해볼 예정입니다. 이 스레드에서 다른 누군가가 Ternary-Bonsai-27B를 추천했는데, 그것도 시도해볼 것입니다.
또한 이 모델의 라이선스에 강제하기 어려운 비상업적 사용 조항이 있다는 점도 언급하고 싶습니다. 정말로 IP 변호사와 상의했으면 좋았을 텐데, 매우 혼란스럽습니다.