Jev 같은 decision model, LLM-as-a-judge와 기존 classifier를 이기지 못한다

Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers

Jev 같은 decision model, LLM-as-a-judge와 기존 classifier를 이기지 못한다

Red Hat이 Jev와 System One 같은 decision model을 전통적인 guardrail과 비교 벤치마크했다. prompt injection과 콘텐츠 안전성 태스크에서 사전 학습된 소형 classifier가 Jev보다 정확하고 빨랐으며, Jev는 LLM-as-a-judge와 비슷한 성능을 보였지만 비용과 지연 시간 이점은 확인되지 않았다. zero-shot decision model이 기존 기법을 대체할 만큼 새롭지 않다는 결론이다.

Jev가 훨씬 낮은 비용과 지연 시간으로 비슷한 성능을 제공한다는 주장이 과연 사실일까?
  1. segmondy

    당연하지, 이건 뉴스도 아니다. (범용적이고, 빠르고, 저렴함) 의사결정 모델 이전에는 이 중 두 개만 고를 수 있었다.

    LLM as judge - 범용적이지만 너무 느리다. 하루에 수백만 건의 분류를 해야 한다면 이건 잘못된 접근이다. 스팸/비스팸, 핫도그/뭐 그런 걸 분류하는 데 LLM을 쓰면 안 된다/쓰지 않을 것이다.

    전통적인 분류기는 아주 특화된 한 가지 재주만 부리는 말, 한 번 구축하면 매우 빠르고 저렴하다. 엄청나게 많은 분류를 해야 한다면 이게 답이다. 하지만 새로운 문제에 당장 분류기가 필요하다면 전문가가 데이터를 큐레이션하고 학습시키고 배포해야 한다.

    decision models/jev - 범용적이라서 대부분의 일반적인 분류 문제에 던져 넣을 수 있고, 충분히 좋다. 범용적이고, 빠르고, 저렴함 사이의 절묘한 균형이다. 세 가지를 다 얻는다.

  2. reexpressionist

    에이전트 스택(및 관련 분야)에서 조건 분기 결정을 내리기 위해 이런 모델을 사용할 때 핵심 속성은 잘 보정되어 있어야 하고(과제에 대해 선택된 정의 하에서) 유용한 정보를 제공해야 한다는 것이다(예: 항상 평균을 예측하는 것은 이론적으로는 어떤 관심량에 대해 '잘 보정된' 것일 수 있지만 실제로는 별로 유용하지 않다).

    신경망의 까다로운 점은 출력 로짓이 사실상 인식적(환원 가능한) 불확실성을 매우 손실이 큰 압축으로 표현한다는 것이어서, 목표 보정량이 잘 명시되어 있더라도 실제로 얻기가 어려울 수 있다. 이에 따른 부작용은 높은 확률 영역의 추정치가 심지어 적당한 공변량 변화에도 그다지 안정적이지 않다는 것이며, 이는 다단계 탐색 그래프에서 의사결정에 추정치를 사용할 때 실제 문제가 된다. 그렇게 하면 모델/추정기가 학습/보정 시에 본 것과 다른(심지어 완전히 분포 외일 수도 있는) 분기로 이어질 수 있기 때문이다. 이런 과제에 접근하는 방법을 설명한 논문 두 편을 소개한다:

    [1] Similarity-Distance-Magnitude Activations. In Findings of the Association for Computational Linguistics: ACL 2026, pages 22037–22057, San Diego, California, United States. Association for Computational Linguistics.

    [2] Introspectable, Updatable, and Uncertainty-aware Classification of Language Model Instruction-following. In Proceedings of the ACM Conference on AI and Agentic Systems (CAIS '26). Association for […]

  3. deepsquirrelnet

    BART는 이런 종류의 테스트에 꽤 오래된 모델이고, 요즘에는 별로 좋은 선택이 아닐 가능성이 크다. 나는 제로샷 가드레일 애플리케이션을 목표로 하는 내 NLI 모델에서 그들의 벤치마크를 재현하는 작업을 하고 있다. 훨씬 더 큰 모델을 이기지는 못하겠지만, 크로스인코더가 무엇을 할 수 있는지에 대한 더 나은 베이스라인을 제공할 것이다.

    https://huggingface.co/dleemiller/crossingguard-nli-l

이 날의 다른 글

2026-10-02