Jeeves от PostHog: reasoning доводит точность решений до 0.935 в JevBench
Jeeves. Reasoning improves Jev-like decision models
PostHog выпустила Jeeves — 9B-модель на базе Qwen3.5, которая сначала рассуждает, а затем принимает решение. Она обходит Jev и Kev-9B на тестовых данных и публичных уровнях JevBench, поддерживает вопросы типов да/нет, выбор и оценку через Jev-совместимый API. В комплекте — код обучения, данные и диффузионный драфтер, ускоряющий генерацию цепочек рассуждений в 1.6–1.76 раза.
Jev-like models give calibrated decision probabilities, but at low accuracy. A lot of pipelines therefore rely on a reasoning model as a fallback.
- sharih
Какой в этом смысл, если это p90 17 секунд? Можно просто использовать LLM. Прелесть Jev в том, что он чертовски дешёвый и безумно быстрый.
- HarHarVeryFunny
Количество людей, которые считают нужным пытаться доказывать, что Jev не нужен, может быть только астротурфингом со стороны тех, кому есть что терять — сотрудников Anthropic и OpenAI.
Нравится вам это или нет, компании будут использовать Jev, если только вы не сможете предложить что-то столь же дешёвое и быстрое.
Интересно, какая доля рынка автоматизации бизнеса, ранее принадлежавшая LLM, сейчас под угрозой?
- TN1ck
Я только что прогнал бенчмарк, который использовал для тестирования других моделей. (Он про обнаружение иронии в немецких футбольных твитах). На моём M5 Pro с 48GB потребовалось более 30 минут, чтобы решить всего по 100 твитам, размышления определённо занимают много времени.
Он показал результат значительно ниже Jev, но выше других открытых decision-моделей, которые я тестировал (68 правильных против 79 правильных у Jev — см. [1]). Я также запускаю его для бенчмарка модерации, но это, вероятно, займёт несколько часов на моей машине.
- thm
Ask Jeeves — потребовалось всего 30 лет, чтобы вернуться к тому, с чего начали.
- itzikkatz
Крутая инженерия, но задержка p90 в 17 секунд как бы убивает смысл модели класса Jev, которая должна быть быстрой и дешёвой. Потеря 10 баллов на MMLU по пути тоже не помогает.