JevBench v1.3.0: Jev 1.13.0 schlägt 52 Entscheidungsmodelle
Show HN: JevBench, a reproducible benchmark for typed decision models
Benchmark Heaven hat mit JevBench v1.3.0 seinen eigenen Benchmark für typisierte Entscheidungsmodelle veröffentlicht. 52 Systeme treten auf 534 unveränderten Entscheidungen an, darunter 220 schwere. Bewertet werden Intelligenz, Kalibrierung, Geschwindigkeit und Kosten zu je 25 %. Jev 1.13.0 führt mit einem Score von 74,4, gefolgt von SemIf und djev. Die Ergebnisse stammen aus eigenen Tests, nicht von fremden Leaderboards.
JevBench ist Benchmark Heavens eigener Benchmark für Entscheidungsmodelle der Jev-Klasse: Zustand und eine begrenzte Rubrik hinein, eine typisierte Antwort heraus.