并非所有任务都需要 LLM

Not Everything Needs an LLM

并非所有任务都需要 LLM

LLM 喜欢废话连篇,面对简单问题也爱长篇大论。在 PostHog 的实践中,我们发现决策模型(如 Jev)是处理简单任务的绝佳替代方案。它们比前沿模型快近 200 倍,成本低 400 多倍,且能明确量化不确定性。我们利用决策模型作为网关,在 Replay Vision 中拦截 98.7% 的 LLM 调用以过滤个人敏感信息;在 Slack 机器人中,它充当路由,自动选择性价比最高的模型。决策模型擅长处理单步判断,而复杂推理仍应留给 LLM。关键在于根据错误成本设定阈值,用决策模型过滤掉那些对 LLM 来说是大材小用的任务。

决策模型适用于那些对语言模型来说太简单、但对正则表达式来说又太模糊的评估任务。

同日更多故事

2026-11-17