Jevのような決定モデルはLLM-as-a-judgeや従来の分類器に勝てない

Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers

Jevのような決定モデルはLLM-as-a-judgeや従来の分類器に勝てない

Red Hatが9つのガードレール手法を比較した結果、Jevなどの決定モデルは、事前学習済みの小型テキスト分類器やLLM-as-a-judgeと比べて優位性がなく、精度・レイテンシ・コストのバランスで劣ることが判明。ゼロショット分類器は既存技術の再発明に過ぎない可能性も示唆された。

Jevの発表では、Jevが同様のパフォーマンスを大幅に低いコストとレイテンシで提供すると説明されている。この主張は本当に成り立つのだろうか?
  1. segmondy

    当たり前でしょ、これはニュースでも何でもない。(汎用・高速・安価)のうち、決定モデル以前は2つしか選べなかったんだ。

    LLM as a judgeは汎用的だが、遅すぎる。1日に何百万件も分類しなきゃいけないなら、これは間違ったアプローチだ。スパムかどうかの分類にLLMを使うべきじゃない(使わないだろう)。ホットドッグかどうか、みたいなのもね。

    従来の分類器は、非常に特化した一芸モデルで、一度作ってしまえば超高速かつ安価。大量の分類をこなす必要があるなら、これが正解のアプローチだ。でも、新しい問題に対して今すぐ分類器が欲しいなら、専門家がデータをキュレーションして、訓練して、デプロイする必要がある。

    決定モデル/jevは汎用的で、大概の汎用的な分類問題に放り込めるし、十分に良い。汎用・高速・安価のバランスが絶妙で、3つ全部手に入る。

  2. reexpressionist

    エージェントスタックなどで条件分岐の意思決定にこうしたモデルを使う際の鍵となる性質は、それらが(タスクに選んだ定義の下で)十分にキャリブレーションされていることと、情報量があることだ(例えば、常に平均を予測するのは、ある種の関心量に対しては理論的には「キャリブレーションされている」と言えるかもしれないが、実用上は特に役に立たない)。

    ニューラルネットワークで厄介なのは、出力ロジットが事実上、認識論的(還元可能な)不確実性の非常に損失の大きい圧縮になっていることだ。だから、目標とするキャリブレーション量がきちんと指定されていても、実際に得るのは難しいことがある。この副作用として、高確率領域での推定値は、たとえ控えめな共変量シフトに対してもあまり安定しない。これは、多段階の探索グラフでの意思決定にその推定値を使っていて、モデルや推定器が訓練・キャリブレーション時に見たものとは異なる(完全に分布外でないにせよ)分岐に至りうる場合には、実際に問題になる。こうした課題へのアプローチを説明した論文をいくつか挙げておく:

    [1] Similarity-Distance-Magnitude Activations. In Findings of the Association for Computational Linguistics: ACL 2026, pages 22037–22057, San Diego, California, United States. Association for Computational Linguistics.

    [2] Introspectable, Updatable, and Uncertainty-aware Classification of Language Model Instruction-following. In Proceedings of the ACM Conference on AI and Agentic Systems (CAIS '26). Association for […]

  3. deepsquirrelnet

    BARTはこの種のテストにはかなり古いモデルで、今どき多くの用途にはあまり良い選択ではないだろう。私はゼロショットのガードレール応用を狙った自分のNLIモデルで、彼らのベンチマークを再現しようと取り組んでいる。より大きなモデルには勝てないと思うが、クロスエンコーダーが何をできるかのより良いベースラインにはなるはずだ。

    https://huggingface.co/dleemiller/crossingguard-nli-l

この日のほかの記事

2026-10-02