Amazon弃用Sonnet 4.6，Strands Decider省百万
Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
Amazon和AWS团队曾长期依赖Claude Sonnet 4.6为其庞大的内部工单系统进行分类，该模型在智能与成本间取得了不错的平衡。然而，两名工程师最近用Strands Decider决策模型替换了Sonnet 4.6。令人意外的是，新模型在保持同等性能的同时，将成本降低了98%。这一替换预计每年将为Amazon节省数百万美元的Token费用。文章详细记录了从通用大模型转向专用决策模型的过程，展示了在大规模场景下，针对性优化如何带来惊人的成本效益。
两名Amazon工程师最近用Strands Decider替换了Sonnet 4.6，新模型性能相当，但成本却降低了98%。
HN 评论区
210- armcat
大约六年前，我们构建了一个工单分类/路由模型和流水线 [1]。初始版本使用 SVM 训练，训练仅需几分钟，工单分类耗时仅几毫秒。看着这个领域从传统方法转向 LLM，如今又回归到更快、更便宜的分类器，实在令人着迷。
[1] "Linnaeus: A highly reusable and adaptable ML based log classification pipeline", https://arxiv.org/abs/2103.06927
注：这项工作实际上已被 2021 年国际软件工程会议 (ICSE) 录用。
- Otterly99
让我百思不得其解的是，像 Amazon 这样的公司，为何会选择用 LLM 来处理工单分类这种简单的任务。他们难道没有成千上万的工程师和 PB 级的数据吗？如果他们想要廉价的标注劳动力，甚至还有 Mechanical Turk 项目可用。
- Kaedon
按每百万工单节省约 21,700 美元计算，若每年节省数百万美元，则意味着每年至少有 9200 万张工单才能达到 200 万美元的节省额。这个估算对吗？
起初我以为工单仅指客户支持或内部 JIRA 工单，但文章提到了警报、安全发现和扩容请求，这让这个规模显得更合理。不过，仍有如此多的工单流经该系统，确实令人惊讶。
- fumeux_fume
他们一直把该方案称为 agent（智能体），但实际上它只是对模型的一次单次调用。
- oorestisime
这与我自己的观察一致。大多数 agent 调用并不需要前沿模型，它们需要的是能快速决定下一步该做什么的模型。Deepseek 在这里也被严重低估了。不过话说回来，有了订阅服务，token 价格依然很便宜，所以子 agent 的委托机制和性能提升目前还无关紧要。
- Gasp0de
这篇文章太让人困惑了。例如，他们说他们试用了 Strands Decider 模型，但随后又弃用了它而改用 Gemma，接着他们继续把所使用的模型称为 Strands Decider？是我漏看了什么吗？
- psnehanshu
好吧，但他们最初为什么选择了 Sonnet？难道不能选 Haiku 或 GPT Luna，甚至选某个便宜的小型中国模型吗？
- 3eb7988a1663
分类到 20 个组之一？有人试过 scikit learn 吗？