PostHogがLLM呼び出しの98.7%をdecision modelで回避
Not Everything Needs an LLM

LLMは簡単な質問にも「場合による」と長々と答える。PostHogは、型付きの答えと確率を返すdecision model(Jevなど)を本番導入し、frontierモデルより最大444.6倍安く193.6倍速いことを活用。Replay Visionでは個人情報チェックをdecision modelに通し、98.7%がLLM呼び出しを回避。モデルルーターやチャート選択にも応用している。
decision modelは目の前にあるものを一度のパスで判定する。多段階の推論はLLMに任せよう。