Jev 같은 decision model, LLM-as-a-judge와 기존 classifier를 이기지 못한다
Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers

Red Hat이 Jev와 System One 같은 decision model을 전통적인 guardrail과 비교 벤치마크했다. prompt injection과 콘텐츠 안전성 태스크에서 사전 학습된 소형 classifier가 Jev보다 정확하고 빨랐으며, Jev는 LLM-as-a-judge와 비슷한 성능을 보였지만 비용과 지연 시간 이점은 확인되지 않았다. zero-shot decision model이 기존 기법을 대체할 만큼 새롭지 않다는 결론이다.
Jev가 훨씬 낮은 비용과 지연 시간으로 비슷한 성능을 제공한다는 주장이 과연 사실일까?
- segmondy
당연하지, 이건 뉴스도 아니다. (범용적이고, 빠르고, 저렴함) 의사결정 모델 이전에는 이 중 두 개만 고를 수 있었다.
LLM as judge - 범용적이지만 너무 느리다. 하루에 수백만 건의 분류를 해야 한다면 이건 잘못된 접근이다. 스팸/비스팸, 핫도그/뭐 그런 걸 분류하는 데 LLM을 쓰면 안 된다/쓰지 않을 것이다.
전통적인 분류기는 아주 특화된 한 가지 재주만 부리는 말, 한 번 구축하면 매우 빠르고 저렴하다. 엄청나게 많은 분류를 해야 한다면 이게 답이다. 하지만 새로운 문제에 당장 분류기가 필요하다면 전문가가 데이터를 큐레이션하고 학습시키고 배포해야 한다.
decision models/jev - 범용적이라서 대부분의 일반적인 분류 문제에 던져 넣을 수 있고, 충분히 좋다. 범용적이고, 빠르고, 저렴함 사이의 절묘한 균형이다. 세 가지를 다 얻는다.
- reexpressionist
에이전트 스택(및 관련 분야)에서 조건 분기 결정을 내리기 위해 이런 모델을 사용할 때 핵심 속성은 잘 보정되어 있어야 하고(과제에 대해 선택된 정의 하에서) 유용한 정보를 제공해야 한다는 것이다(예: 항상 평균을 예측하는 것은 이론적으로는 어떤 관심량에 대해 '잘 보정된' 것일 수 있지만 실제로는 별로 유용하지 않다).
신경망의 까다로운 점은 출력 로짓이 사실상 인식적(환원 가능한) 불확실성을 매우 손실이 큰 압축으로 표현한다는 것이어서, 목표 보정량이 잘 명시되어 있더라도 실제로 얻기가 어려울 수 있다. 이에 따른 부작용은 높은 확률 영역의 추정치가 심지어 적당한 공변량 변화에도 그다지 안정적이지 않다는 것이며, 이는 다단계 탐색 그래프에서 의사결정에 추정치를 사용할 때 실제 문제가 된다. 그렇게 하면 모델/추정기가 학습/보정 시에 본 것과 다른(심지어 완전히 분포 외일 수도 있는) 분기로 이어질 수 있기 때문이다. 이런 과제에 접근하는 방법을 설명한 논문 두 편을 소개한다:
[1] Similarity-Distance-Magnitude Activations. In Findings of the Association for Computational Linguistics: ACL 2026, pages 22037–22057, San Diego, California, United States. Association for Computational Linguistics.
[2] Introspectable, Updatable, and Uncertainty-aware Classification of Language Model Instruction-following. In Proceedings of the ACM Conference on AI and Agentic Systems (CAIS '26). Association for […]
- deepsquirrelnet
BART는 이런 종류의 테스트에 꽤 오래된 모델이고, 요즘에는 별로 좋은 선택이 아닐 가능성이 크다. 나는 제로샷 가드레일 애플리케이션을 목표로 하는 내 NLI 모델에서 그들의 벤치마크를 재현하는 작업을 하고 있다. 훨씬 더 큰 모델을 이기지는 못하겠지만, 크로스인코더가 무엇을 할 수 있는지에 대한 더 나은 베이스라인을 제공할 것이다.