Strands Decider 2B: Kleines Open-Source-Modell trifft Entscheidungen in Millisekunden

Strands Decider 2B: a small, open-source, decision model

Strands Decider 2B: Kleines Open-Source-Modell trifft Entscheidungen in Millisekunden

Strands Labs veröffentlicht Strands Decider 2B, ein 2-Milliarden-Parameter-Entscheidungsmodell, das auf lokaler CPU oder GPU läuft und in etwa 115 ms Antworten liefert. Statt Text zu generieren, wählt es aus vorgegebenen Optionen und liefert Zuverlässigkeitswerte. Es eignet sich für Modell-Routing, Tool-Auswahl und Guardrails in agentischen Workflows. Gewichte, Trainingsdaten und Skripte sind auf GitHub und Hugging Face verfügbar.

Der springende Punkt ist, dass eine so günstige Entscheidung in einem Pfad liegen kann, in dem ein LLM-Aufruf niemals möglich wäre.
  1. real_faxenoff

    Als regelmäßiger Nutzer einer Reihe spezialisierter Mikromodelle sage ich dir Folgendes: Du wirst nicht glücklich sein, wenn so ein Modell (und seine JEV-Pendants) dauerhaft im Hintergrund auf der CPU deines PCs läuft. Du musst ihre Verarbeitung auf die NPU auslagern. Es gibt viele Fallstricke auf dem Weg, aber das Ergebnis ist es wert.

    Die NPU-Leistung wird doppelt so hoch sein, während der Stromverbrauch viermal niedriger ist. Kein zusätzliches Lüftergeräusch (wenn du weißt, was ich meine).

    Ich warte noch einen Monat, bis die erste Phase des =Battle Royale= unter Modellen dieser Art abgeschlossen ist, stelle eine Lösung für die NPU/iGPU zusammen und poste sie auf HF.

  2. girvo

    Weiß jemand, ob es sich lohnt, eines dieser Entscheidungsmodelle auf die Form der Fragen feinabzustimmen, auf die es angewendet werden soll, im Vergleich zu den allgemeineren Versionen? Ich nutze Jev derzeit ziemlich erfolgreich bei der Arbeit, bin aber neugierig, was machbar ist

  3. adenta

    An diesem Punkt kann ich es kaum erwarten, dass ein Comedian ein Entscheidungsmodell herausbringt, das von Menschen unterstützt wird.

    Darf ich vorstellen: Jerry – es ist buchstäblich ein Typ namens Jerry, der deine Fragen beantwortet.

  4. mynti

    Kann jemand diese Architektur etwas eingehender erklären? Sie sagen, der Pointer Head bewertet den Hidden State bei jeder Option gegen den Hidden State der Antwort. Aber das LLM erzeugt Hidden States pro Token, also kann eine Option mehrere Token umfassen, oder?

  5. mattvr

    Warum nennen alle binäre Entscheidungen `noul`? Hat das eine Bedeutung oder kopiert es einfach Jevs API?

Mehr von diesem Tag

2026-10-07