Los modelos de decisión como Jev no superan a LLM-as-a-judge ni a los clasificadores tradicionales

Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers

Los modelos de decisión como Jev no superan a LLM-as-a-judge ni a los clasificadores tradicionales

Red Hat evaluó nueve guardrails para inyección de prompts y seguridad de contenido. Los clasificadores preentrenados de 200M parámetros lograron 89% de precisión con 54 ms de latencia, mientras que Jev alcanzó 86% pero con 348 ms. Qwen3.6-35B igualó la precisión con latencia aún mayor. Los modelos de decisión no ofrecen ventajas claras frente a alternativas más simples y eficientes.

Es razonable cuestionar si el enfoque de TypeSafe es realmente tan novedoso como se afirma.
  1. segmondy

    pues claro, esto no es noticia. (general, rápido y barato) antes de los modelos de decisión, solo podías elegir 2.

    LLM como jueces - generalizados, pero demasiado lentos. Si tuvieras que hacer millones de clasificaciones al día, este sería el enfoque equivocado. no usarías/no deberías usar un LLM para clasificar spam/no spam. perro caliente/o algo así.

    clasificadores tradicionales, muy específicos, pony de un solo truco, súper rápidos y baratos una vez construidos. Si necesitas hacer muchísimas clasificaciones, este sería el enfoque. pero si quisieras un clasificador ahora mismo para un problema novedoso, necesitas un experto que cure datos, entrene y despliegue.

    modelos de decisión/jev - son genéricos, puedes lanzarlos a la mayoría de problemas de clasificación genéricos, y son suficientemente buenos. es un buen equilibrio entre general, rápido y barato. obtienes los 3

  2. reexpressionist

    Las propiedades clave para usar tales modelos para decisiones de ramificación condicional en stacks agénticos (y relacionados) es que deberían estar bien calibrados (bajo la definición elegida para la tarea) e informativos (por ejemplo, predecir siempre la media podría estar "bien calibrado" en un sentido teórico para algunas cantidades de interés elegidas, pero no es particularmente útil en la práctica).

    Lo complicado con las redes neuronales es que los logits de salida son en efecto una compresión altamente con pérdida de la incertidumbre epistémica (reducible), así que incluso si la cantidad de calibración objetivo está bien especificada, puede ser difícil de obtener en la práctica. Un efecto secundario de esto es que las estimaciones en las regiones de alta probabilidad no son particularmente estables bajo cambios incluso modestos de covariables, lo cual es un problema real si las estimaciones se usan para la toma de decisiones en un grafo de búsqueda de múltiples pasos que puede llevar a ramas que no se parecen a lo que el modelo/estimador vio en entrenamiento/calibración (si no completamente fuera de distribución). Aquí hay un par de artículos que describen cómo abordar esos desafíos:

    [1] Similarity-Distance-Magnitude Activations. In Findings of the Association for Computational Linguistics: ACL 2026, pages 22037–22057, San Diego, California, United States. Association for Computational Linguistics.

    [2] Introspectable, Updatable, and Uncertainty-aware Classification of Language Model Instruction-following. In Proceedings of the ACM Conference on AI and Agentic Systems (CAIS '26). Association for […]

  3. deepsquirrelnet

    BART es un modelo bastante antiguo para este tipo de prueba, y probablemente no sea una muy buena elección para mucho hoy en día. Estoy trabajando en replicar su benchmark en mi propio modelo NLI orientado a aplicaciones de guardrail zero-shot. No creo que supere a modelos mucho más grandes, pero debería dar una mejor línea base de lo que puede hacer un crossencoder.

    https://huggingface.co/dleemiller/crossingguard-nli-l

Más de este día

2026-10-02