PostHog отправляет 98,7% запросов мимо LLM с помощью decision models

Not Everything Needs an LLM

PostHog отправляет 98,7% запросов мимо LLM с помощью decision models

LLM любят разводить воду: на простой вопрос отвечают сотней слов «зависит от». В PostHog для таких задач взяли decision models вроде Jev — они дают типизированный ответ с вероятностью и до 444,6 раза дешевле, до 193,6 раза быстрее фронтирных моделей. В Replay Vision два вопроса «да/нет» отсеивают 98,7% сессий без вызова Gemini, а choice-вопросы выбирают самую дешёвую подходящую модель. Главный урок: порог настраивают под цену ошибки.

Модель с оценкой 0,8 права примерно в 80% случаев, а значит 0,5 — это подбрасывание монетки.

Ещё за этот день

2026-11-17