Perplexitys Decider v1.3 macht aus generativen LLMs präzise Klassifizierer
Perplexity Decider v1.3: Training, eval, and use cases
Perplexity veröffentlicht Decider v1.3 und das kleinere Decider Flash v1.3 unter Apache-Lizenz auf Hugging Face, über OpenRouter und die Decisions API. Die Modelle bauen auf Qwen-Backbones auf, nutzen bidirektionale Attention und liefern Wahrscheinlichkeiten für Ja/Nein-, Multiple-Choice- und Score-Fragen in einem einzigen Forward-Pass. Neu ist die Funktion locate, die benannte Entitäten, personenbezogene Daten und Antworten direkt aus dem Text extrahiert. Das Training kombiniert generalistische Feinabstimmung, LoRA-Spezialisierung und Destillation des großen ins kleine Modell.
Wir stellen fest, dass das Zusammenführen derzeit noch nicht verlustfrei ist, deshalb halten wir die Adapter getrennt und aktivieren sie nur für locate-Anfragen.
- 0o777
Dieser Blogbeitrag war ein Kaninchenbau in einige interessante Dinge:
https://www.perplexity.ai/hub/blog/pii-trace-detecting-perso...
https://www.perplexity.ai/hub/blog/a-local-first-agent-for-p...
- waximabbax
Na dann, Glückwunsch.
Hier sind einige Gedanken, keine Fakten:
Zum AA Decision Index.
Decider v1.3 und Decider v.1.2 scheinen dieselben Benchmarks zu haben. Allerdings schlägt V1.3 flash V1.2 flash um 4 Punkte.
Ich bin von diesem Muster/Trend, Flash-Versionen für Entscheidungsmodelle anzubieten, nicht besonders begeistert. Der ganze Sinn von Entscheidungsmodellen war es, schnellere Ausgaben für Anfragen mit hohem Volumen zu viel geringeren Kosten als Reasoning-Modelle zu liefern. Da die meisten Reasoning-Modelle die Entscheidungsmodelle in der Genauigkeit bereits übertreffen können und das wahrscheinlich auch tun, aber sie sind viel langsamer und teurer. Reasoning-Modelle können bereits strukturierte Ausgaben zurückgeben.
Also muss euer Flaggschiffmodell das schnellste und genaueste sein.
Es sei denn, es kann eine andere Form von Eingabe als nur Bild und Text verarbeiten, sehe ich keinen Sinn darin, sowohl eine Flaggschiff- als auch eine Flash-Version für dasselbe Modell zu haben.
- nchmy
Wegen dieses Beitrags habe ich verschiedene Decider- und andere Modelle entdeckt und mich damit beschäftigt. Der "locate"-Mechanismus in Decider 1.3 scheint ein Äquivalent in Clairic von Cloudflare und Extract von ScaleDown zu haben. Besonders beeindruckt bin ich von ScaleDown für meinen Anwendungsfall – viel günstiger und genauer als die anderen.