Jev schlägt weder LLM-as-a-Judge noch klassische Klassifikatoren
Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers

Red Hat verglich neun Guardrail-Methoden: vortrainierte Klassifikatoren, BART-large-mnli, LLM-as-a-Judge-Modelle und Jev-ähnliche Entscheidungsmodelle. Bei Prompt-Injection erreichte Qwen3.6-35B mit 89,31 % die höchste Genauigkeit, gefolgt vom vortrainierten deberta-Klassifikator (89,01 %). Jev kam auf 86,35 %, war aber deutlich langsamer. Bei Content-Safety schnitt der kleine granite-guardian-hap-125m am besten ab. Die Ergebnisse zeigen: Entscheidungsmodelle sind nicht grundsätzlich überlegen.
Es ist durchaus fraglich, ob TypeSafes Ansatz wirklich so neuartig ist, wie behauptet wird.
- segmondy
Na klar, das ist keine Neuigkeit. (allgemein, schnell und günstig) – vor Entscheidungsmodellen konnte man sich nur 2 aussuchen.
LLM als Richter – generalisiert, aber zu langsam. Wenn man Millionen von Klassifikationen pro Tag machen müsste, wäre das der falsche Ansatz. Man würde/sollte kein LLM verwenden, um Spam/kein Spam zu klassifizieren. Hotdog/etwas anderes.
Traditionelle Klassifikatoren, sehr spezifische Ein-Trick-Ponys, super schnell und günstig, sobald sie gebaut sind. Wenn man Unmengen und Aberunmengen von Klassifikationen machen muss, wäre das der Ansatz. Aber wenn man jetzt sofort einen Klassifikator für ein neuartiges Problem bräuchte, bräuchte man einen Experten, der Daten kuratiert, trainiert und bereitstellt.
Entscheidungsmodelle/JEV – sind generisch, man kann sie auf die meisten generischen Klassifikationsprobleme werfen, und sie sind gut genug. Es ist ein feiner Balanceakt zwischen allgemein, schnell und günstig. Man bekommt alle 3.
- reexpressionist
Die entscheidenden Eigenschaften für die Verwendung solcher Modelle für bedingte Verzweigungsentscheidungen in agentischen Stacks (und verwandten Bereichen) sind, dass sie gut kalibriert sein sollten (unter der für die Aufgabe gewählten Definition) und informativ (z. B. könnte die ständige Vorhersage des Mittelwerts im theoretischen Sinne für einige gewählte interessierende Größen "gut kalibriert" sein, ist aber in der Praxis nicht besonders nützlich).
Das Schwierige bei neuronalen Netzen ist, dass die Ausgabe-Logits effektiv eine stark verlustbehaftete Kompression der epistemischen (reduzierbaren) Unsicherheit sind, sodass es selbst bei gut spezifizierter Zielkalibrierungsgröße in der Praxis schwierig sein kann, diese zu erhalten. Ein Nebeneffekt davon ist, dass Schätzungen in den Bereichen hoher Wahrscheinlichkeit selbst unter moderaten Kovariatenverschiebungen nicht besonders stabil sind, was ein echtes Problem darstellt, wenn die Schätzungen für Entscheidungsfindung in einem mehrstufigen Suchgraphen verwendet werden, der zu Zweigen führen kann, die anders sind als das, was das Modell/der Schätzer beim Training/der Kalibrierung gesehen hat (wenn nicht sogar völlig außerhalb der Verteilung). Hier sind ein paar Paper, die beschreiben, wie man diese Herausforderungen angeht:
[1] Similarity-Distance-Magnitude Activations. In Findings of the Association for Computational Linguistics: ACL 2026, pages 22037–22057, San Diego, California, United States. Association for Computational Linguistics.
[2] Introspectable, Updatable, and Uncertainty-aware Classification of Language Model Instruction-following. In Proceedings of the ACM Conference on AI and Agentic Systems (CAIS '26). Association for […]
- deepsquirrelnet
BART ist ein ziemlich altes Modell für diese Art von Test und heutzutage wahrscheinlich keine sehr gute Wahl für vieles. Ich arbeite daran, ihren Benchmark auf meinem eigenen NLI-Modell zu replizieren, das auf Zero-Shot-Guardrail-Anwendungen abzielt. Ich glaube nicht, dass es viel größere Modelle schlagen wird, aber es sollte eine bessere Baseline dafür liefern, was ein Crossencoder leisten kann.