Jev schlägt weder LLM-as-a-Judge noch klassische Klassifikatoren

Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers

Jev schlägt weder LLM-as-a-Judge noch klassische Klassifikatoren

Red Hat verglich neun Guardrail-Methoden: vortrainierte Klassifikatoren, BART-large-mnli, LLM-as-a-Judge-Modelle und Jev-ähnliche Entscheidungsmodelle. Bei Prompt-Injection erreichte Qwen3.6-35B mit 89,31 % die höchste Genauigkeit, gefolgt vom vortrainierten deberta-Klassifikator (89,01 %). Jev kam auf 86,35 %, war aber deutlich langsamer. Bei Content-Safety schnitt der kleine granite-guardian-hap-125m am besten ab. Die Ergebnisse zeigen: Entscheidungsmodelle sind nicht grundsätzlich überlegen.

Es ist durchaus fraglich, ob TypeSafes Ansatz wirklich so neuartig ist, wie behauptet wird.

Mehr von diesem Tag

2026-10-02