JevBench v1.3.0が52モデルを格付け、Jev 1.13.0が首位
Show HN: JevBench, a reproducible benchmark for typed decision models
Benchmark Heavenが独自に構築したJevBench v1.3.0は、型付き意思決定モデル52システムを534の意思決定（うち220の難問）で評価し、Intelligence・Calibration・Speed・Costを各25%の幾何平均でスコア化した。首位はJev 1.13.0（74.4）、2位はSemIf（Qwen3.5-4B、73.1）、3位はdjev（Maisa、73.0）。結果はテスト構成を反映し、全アプリケーションを代表するものではない。
JevBenchはBenchmark Heaven自身のベンチマークであり、Jevクラスの意思決定モデル向けに、状態と限定されたルーブリックを入力し、型付きの回答を出力する。
HNでの議論
36- hbrn
$40mの資金調達、2年間のステルス。
数日で作られ、どうやらファインチューニングなしの生のQwenを使っているらしいSemIfと同等の性能を発揮？SemIfは君のブラウザで動くんだぜ。ああ、しかもJevは2倍のコスト？
Jevが一貫して自分はQwenだと思っているのは驚きか？
Jevは詐欺だとほぼ確信している。Qwenを持ってきて少しファインチューニングして、投資家に1000万ドルかかったと言い、広告に100万ドル使って、利益を得る。
- dmix
バイブコーディングされたウェブサイトは、プロンプトやコミットスタイルのコメントを、視覚的な文脈で伝える代わりに（あるいは単に除外する代わりに）文字通りのインターフェースに含めているかどうかで見分けられる。
> 任意の列でソート。実行が生成できなかった値は常に最後にソートされます。コストにホバーすると価格設定方法が、レイテンシにホバーするとエンドポイントが表示されます。名前は各プロジェクトにリンクします。
デザイナーは決してこんなことを書かないが、LLMはインターフェースの隣に小さな灰色のテキストを入れることで、まるで馬鹿げたコードコメントと同じように、これを挿入するだけだ。
- faangguyindia
私たちのモデルをベンチマークに追加してもらえますか？
- ks2048
ここでのテストが正確に何なのかを解明しようとしていた。いくつかの質問を見つけたと思う（ここ：https://github.com/fstandhartinger/jevbench/blob/main/datase...）
例えば、
"instructions": "ユーザーのメッセージはどの意図を表現していますか？",
"labels":["set_alarm", "play_music", "weather", "send_message", "turn_off_lights"],
"state": "Play some Taylor Swift.",
"expected": "play_music"
- sean_pedersen
良いプロジェクトだが、これも存在する https://huggingface.co/spaces/multimodalart/jev-decision-ind... そして結果は合計が合わないようで、モデルセットも異なる...まだ成熟するのに時間が必要だろう