Jev не обходит LLM-as-a-judge и традиционные классификаторы

Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers

Jev не обходит LLM-as-a-judge и традиционные классификаторы

Red Hat сравнила 9 guardrail-решений: предобученные классификаторы, BART-large-mnli, LLM-as-a-judge и decision-модели вроде Jev. В тестах на prompt injection и токсичность Jev показал точность 86,35% и 348 мс задержки, уступив Qwen3.6-35B (89,31%) и DeBERTa (89,01%, 54 мс). Вывод: специализированные классификаторы остаются быстрее и точнее, а заявления о превосходстве Jev не подтверждаются.

В домене AI guardrails, где существует множество размеченных датасетов для различных рисков, это изобилие данных означает, что вы можете легко и дешево обучить классификаторы для обнаружения рисков.
  1. segmondy

    ну да, это не новость. (общий, быстрый и дешёвый) до decision models можно было выбрать только 2.

    LLM as judges — обобщённые, но слишком медленные. Если вам нужно делать миллионы классификаций в день, это будет неправильный подход. вы не будете/не должны использовать LLM для классификации спам/не спам. хот-дог/что-то ещё.

    традиционные классификаторы, очень специфичные, пони с одним трюком, супербыстрые и дешёвые, как только построены. Если вам нужно делать тонны и тонны классификаций, это будет подход. но если вам нужен классификатор прямо сейчас для новой задачи, вам нужен эксперт, чтобы собрать данные, обучить и развернуть.

    decision models/jev — универсальны, вы можете бросить их на большинство общих задач классификации, и они достаточно хороши. это тонкий баланс между общим, быстрым и дешёвым. вы получаете все 3

  2. reexpressionist

    Ключевые свойства для использования таких моделей для решений с условным ветвлением в агентных стеках (и смежных) заключаются в том, что они должны быть хорошо калиброваны (в соответствии с определением, выбранным для задачи) и информативны (например, всегда предсказывать среднее может быть «хорошо калибровано» в теоретическом смысле для некоторых выбранных интересующих величин, но на практике не особенно полезно).

    Сложность с нейронными сетями в том, что выходные логиты по сути являются сильно сжатой с потерями компрессией эпистемической (устранимой) неопределённости, поэтому даже если целевая величина калибровки хорошо определена, её может быть трудно получить на практике. Побочным эффектом этого является то, что оценки в областях высокой вероятности не особенно стабильны даже при умеренных сдвигах ковариат, что является реальной проблемой, если оценки используются для принятия решений в многошаговом графе поиска, который может привести к ветвям, не похожим на то, что модель/оценщик видели при обучении/калибровке (если вообще не вне распределения). Вот пара статей, описывающих, как подходить к этим вызовам:

    [1] Similarity-Distance-Magnitude Activations. In Findings of the Association for Computational Linguistics: ACL 2026, pages 22037–22057, San Diego, California, United States. Association for Computational Linguistics.

    [2] Introspectable, Updatable, and Uncertainty-aware Classification of Language Model Instruction-following. In Proceedings of the ACM Conference on AI and Agentic Systems (CAIS '26). Association for […]

  3. deepsquirrelnet

    BART — довольно старая модель для такого рода тестов и, вероятно, не очень хороший выбор для многого в наши дни. Я работаю над воспроизведением их бенчмарка на своей собственной NLI-модели, нацеленной на zero-shot приложения для guardrail. Не думаю, что она побьёт гораздо более крупные модели, но должна дать лучший базовый уровень для того, что может сделать кроссэнкодер.

    https://huggingface.co/dleemiller/crossingguard-nli-l

Ещё за этот день

2026-10-02