Amazon、Sonnet 4.6をStrands Deciderに置き換えて数百万ドルを削減

100万チケットあたり約21,700ドルの節約で、年間数百万ドルを節約するには、年間少なくとも9,200万チケットを処理して200万ドルの節約に達する必要があるという計算で合っていますか？

最初はチケットをカスタマーサポートや内部のJIRAだけだと思っていましたが、記事にはアラーム、セキュリティ所見、キャパシティ増加リクエストについて言及されているので、その規模はもっともらしく感じられます。それでも、これほど多くのチケットがシステムを通過するのは驚きです。

Seldon AI (www.seldon-ai.com) の創設者です。私たちは、この種のリファクタリングや継続的なプロダクション作業を開発者が行うのを支援する開発ツールに取り組んでいます。

基本的に、今日のアプリケーションバックエンドではLLMのタールピット的な使われ方が大量にあります。これは、LLMが人々に、プロダクション化や保守ができないものを構築させることを可能にしている、もう一つの事例にすぎません。

今日では、AI/MLスキルセットを持たない開発者でも、LLMを使って派手な新機能をプロトタイプできます。以前は、データを収集・キュレーションしてMLモデルのパイプラインをトレーニングし、それをプロダクションで提供する必要がありました。

問題は、その新機能をプロダクションに導入する時です。プロトタイプ/ベータのワークロードでは20ドルだったコストが、今ではLLMコストとして月額3万ドルになり、200のテストサンプルでは決して起こらなかったハルシネーションが1日600回発生しています。

そして彼らは行き詰まります。プロダクションMLパイプラインを適切に構築・運用する知識と予算、プロダクションワークロードを処理するために必要なインフラスタックが不足しているからです。経営陣も、なぜ「時代遅れの方法」で「うまくいっているように見える」ものを再構築するために投資しなければならないのか理解していません。

この用途に関して言えば、これらのシステム1または決定モデルはLLMより一歩進んでいます。問題は、多くのアプリケーションロジックにとって依然として扱いにくい（表現力が限られている）ことです。当初の人気にもかかわらず、LLMベースのバックエンドをそれらでリファクタリングする際の摩擦を多く聞いており、すでにLLMへのプロダクションロールバックの事例も複数あります。

私はシステム1モデルは[…]

品質についての言及はありませんでした。少なくとも私は見ませんでした。今日重要と思われているのはスピードとコストだけのようです。

この記事はとても混乱します。たとえば、Strands Deciderモデルを試してGemmaのために却下したと言っておきながら、その後も使用したモデルをStrands Deciderと呼び続けています。何か見落としているのでしょうか？

なるほど、でもそもそもなぜSonnetを選んだのでしょうか？HaikuやGPT Luna、あるいは安価な小型の中国製モデルを選ぶこともできたのでは？

なぜHaiku 5.5すら試さなかったのでしょうか？

なぜAmazonは別の会社に調整済みの決定モデルを提供させるのでしょうか？

Amazonにはすでにこれらのチケットのラベルがすべて揃っているのだから、自分たちで構築すればよかったのでは？

20グループのいずれかに分類する？scikit learnを試した人はいないの？