PostHog, LLM 호출 98.7%를 decision model로 걸러냈다

Not Everything Needs an LLM

PostHog, LLM 호출 98.7%를 decision model로 걸러냈다

PostHog는 LLM의 장황한 답변 대신 확률이 명시된 typed 답변을 주는 decision model을 실무에 도입했다. Replay Vision에서는 개인정보 포함 여부를 묻는 두 개의 yes/no 질문으로 98.7%의 세션 요약이 비싼 LLM 호출 없이 통과했고, Slack 봇의 모델 라우팅과 SQL 차트 선택에도 활용했다. 저자들은 decision model이 frontier 모델보다 최대 444.6배 저렴하고 193.6배 빠르지만, 다단계 추론에는 부적합하다고 정리한다.

decision model은 눈앞에 있는 것을 단 한 번에 판단한다. 다단계 추론은 LLM에게 맡겨라.

이 날의 다른 글

2026-11-17