JevBench v1.3.0: Jev 1.13.0 обошёл 52 системы в бенчмарке типизированных решений
Show HN: JevBench, a reproducible benchmark for typed decision models
Benchmark Heaven выпустила JevBench v1.3.0 — собственный бенчмарк для Jev-подобных моделей принятия решений. 52 системы протестированы на 534 решениях, включая 220 сложных, и оценены по JevBench Score (интеллект, калибровка, скорость, стоимость — по 25% каждое). Jev 1.13.0 от TypeSafe AI занял первое место с результатом 74.4, обойдя открытые альтернативы вроде SemIf и djev. Все задачи, harness и правила оценки доступны под лицензией MIT.
JevBench — это наш собственный бенчмарк для Jev-класса моделей принятия решений: на входе состояние и ограниченная рубрика, на выходе типизированный ответ.