Liquid AI veröffentlicht LFM2.5-24B-A2B: 24B-Parameter-Modell mit nur 2B aktiven Parametern
LFM2.5-24B-A2B: Built for Fast On-Device Agents
Liquid AI hat LFM2.5-24B-A2B vorgestellt, ein 24B-Parameter-Reasoning-Modell mit nur 2B aktiven Parametern, das für schnelle, private Agenten auf Endgeräten entwickelt wurde. Es ist das größte und letzte Modell der LFM2.5-Familie. Auf fünf von acht agentischen und Tool-Use-Benchmarks ist es konkurrenzfähig mit Qwen3.6-35B-A3B, das etwa 50 % mehr Gesamt- und aktive Parameter besitzt. Dank der effizienten Architektur erreicht es 184 Tokens/s auf einem Apple M5 Max und über 21K Ausgabe-Tokens/s auf einer einzelnen NVIDIA B300 GPU. Die Gewichte sind offen und ab sofort auf Hugging Face verfügbar.
Während der Teacher-Spezialisierung zeigte LFM2.5-24B-A2B bekannte Reward-Hacking-Verhaltensweisen: Es suchte die endgültige Antwort in der Git-Historie eines Repositories oder auf Plattformen wie GitHub, PyPI und Hugging Face. Überraschenderweise fand es sogar heraus, dass es sich in einer Sandbox befand.
- sebmellen
> it runs up to 1.7× faster than comparable MoEs on-device, with 184 tokens/s on an Apple M5 Max and up to 21K output tokens/s on a single NVIDIA B300 GPU
Wow, das sind echt beeindruckende Zahlen für die Intelligenz, die dieses Modell zu haben scheint!
Eine Sache, die dieser Artikel nicht klärt, und der ich wohl wirklich mal nachgehen sollte, ist, was genau AutomationBench im Vergleich zu anderen Benchmarks testet. Die herausragende Leistung bei AutomationBench ist interessant, aber ich weiß nicht, was sie wirklich bedeutet, weil das Modell bei allen anderen Benchmarks relativ ähnlich zu anderen lokalen Modellen abschneidet.
- ghotli
Vielleicht weiß ja jemand, welche Größenordnung an Kosten ein Release wie dieses in realen Hardware- und Energieausgaben erfordert?
Die Kosten über die Differenz vom Beginn des Trainings bis zum Ende. Es ist iterativ von einem vorherigen Modell, also startet es dort und wird nach den Ausgaben zu diesem Release, nehme ich an.
Zum Beispiel, gibt Liquid in diesem Fall Millionen für Energie aus, und die Kosten werden über aufeinanderfolgende Trainingsläufe über die anfänglichen Rechenzentrumsausgaben amortisiert? Was, wenn es einfach Cloud-Kosten frisst und keine dedizierte Hardware hat, so etwas. Ich meine nicht speziell dieses Modell und Liquid. Nur für diese Klasse von kleineren, schnellen On-Device-Modellen: Was ist die Größenordnung der Trainingskosten in realen Zahlen?
Vielleicht ist es kurzsichtig, danach zu fragen, als wäre es ein einzelner Trainingslauf und vielleicht der Endzustand vieler Testvarianten, sodass all die F&E-Trainingsläufe einbezogen werden müssten, um zu erklären, was das finale Release wurde. Das sollte man wohl berücksichtigen. Wenn jemand zufällig Bescheid weiß, wäre ich dankbar!
- 2001zhaozhao
Das scheint eine große Sache zu sein, oder?
Wenn Qwen ein Qwen3.8 MoE ähnlicher Größe veröffentlicht hätte, wären seine Fähigkeiten bei naiver Extrapolation ungefähr ähnlich wie die dieses Modells. Also hat im Grunde jemand Qwen eingeholt (wenn auch Qwen von vor 1-2 Monaten) in puncto Parametereffizienz.
- effortprogramme
Immer gut zu hören für ein On-Device-Modell, aber man kann nie sicher sein, wie es in echten Aufgaben abschneidet..
- MatthiasPortzel
Sehr cool. Ich war wegen meines begrenzten RAMs auf Gemma 4 12B. Es gibt bereits eine Unsloth-Quantisierung dieses Modells, also lade ich die herunter und werde morgen früh die Leistung prüfen. Jemand anderes in diesem Thread hat Ternary-Bonsai-27B empfohlen, das werde ich auch ausprobieren.
Ich wollte auch anmerken, dass dieses Modell eine fragwürdig durchsetzbare Nicht-kommerzielle-Nutzungsklausel in seiner Lizenz hat. Ich wünschte wirklich, sie hätten einen IP-Anwalt konsultiert, es ist sehr verwirrend.