PostHog evita el 98,7 % de las llamadas a LLM con modelos de decisión
Not Everything Needs an LLM

Los LLM responden con prosa larga y confiada, pero para tareas simples los modelos de decisión como Jev ofrecen respuestas tipadas con probabilidad explícita. En PostHog los usan para filtrar resúmenes de sesiones antes de llamar a Gemini: dos preguntas de sí/no con umbral 0,4 dejan pasar limpio el 98,7 % de los casos, sin reescritura. Son hasta 444,6 veces más baratos y 193,6 veces más rápidos. La clave está en fijar el umbral según el coste de cada error.
Los modelos de decisión son hasta 444,6 veces más baratos y 193,6 veces más rápidos que los modelos de frontera, así que puedes usarlos para comprobar si siquiera necesitas hacer una llamada cara a un LLM.