引入 LLM 前必须自问的六个问题
Six questions before you add an LLM
作为 AI 实施顾问，我曾试图用 LLM 构建全自动的潜在客户挖掘流程，结果却因系统的不可预测性导致大量无效数据，最终不得不手动清洗 800 多条记录。这让我意识到，许多高管对 AI 的痴迷往往本末倒置：我们不该先问'哪里能用 AI'，而应先问'要解决什么问题'。LLM 用确定性换取了灵活性，这既是优势也是代价。在盲目集成之前，我们需要通过六个关键问题来评估：工作流能否预先定义？输入输出是否需要严格一致？是否需要处理执行中的模糊性？结果能否低成本验证？出错后果是否可控？以及 LLM 方案是否显著优于传统代码？只有当模糊性真正存在且传统方法失效时，LLM 才是合适的工具。
如果你的 CEO 认为 AI 是一把锤子，并且想用这把锤子处理所有事情，那么所有问题最终都会看起来像钉子。
- djc404
我认为在大多数（也许是绝大多数？）情况下，最佳做法是构建一个工具，根据需求明确定义 LLM 模型能做什么、不能做什么，然后让模型基于此运行。核心在于尽可能减少模型可做的选择。当然，如果你不够小心或缺乏监控/验证，事情随时可能脱轨！
- cameronmpalmer
我是一名独立顾问，专门构建代理系统。我反复遇到同一个问题：我和客户试图在普通代码才是更优工具的场景下使用 LLM。压垮我的最后一根稻草是一个 prospecting agent（潜在客户挖掘代理），它搞砸了插入我 CRM 系统中 10% 到 20% 的记录，导致我不得不手动审查所有 800 多条条目。我想总结一下我从这次经历中学到的东西——我最终总结出了一个六问框架，在判断某个方案是否能从 LLM 中受益时帮了我大忙。我很想听听大家在使用中会问哪些边界问题。
- jimbokun
这真的让我深有共鸣。
太多交给 LLM 的任务，其实用确定性代码能更可靠、更高效地完成。
在这些情况下，LLM 可以帮你写代码，但没必要在任务每次执行时都调用它。