Amazon spart Millionen: Strands Decider ersetzt Sonnet 4.6 bei 98 % geringeren Kosten
Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
Zwei Amazon-Ingenieure haben in einem der größten internen Ticketsysteme der Welt Claude Sonnet 4.6 durch das Entscheidungsmodell Strands Decider ersetzt. Das Modell erzielt bei der Klassifizierung von Tickets in 20 Kategorien dieselbe Qualität – zu 98 % geringeren Kosten. Das soll jährlich Millionen an Token-Kosten einsparen.
Zwei Amazon-Ingenieure haben Sonnet 4.6 kürzlich durch Strands Decider ersetzt, ein vor einem Monat eingeführtes Entscheidungsmodell, das genauso gut abschnitt – bei 98 % geringeren Kosten.
- armcat
Vor etwa sechs Jahren haben wir ein Ticket-Klassifizierungs-/Routing-Modell und eine Pipeline gebaut [1]. Die erste Version wurde mit SVMs trainiert, das Training dauerte ein paar Minuten, und die Ticket-Klassifizierung dauerte nur wenige Millisekunden. Es ist faszinierend zu beobachten, wie sich das Feld hin zu LLMs und dann wieder zurück zu schnelleren/günstigeren Klassifikatoren bewegt hat.
[1] "Linnaeus: A highly reusable and adaptable ML based log classification pipeline", https://arxiv.org/abs/2103.06927
HINWEIS: Die Arbeit wurde tatsächlich auf der International Conference on Software Engineering (ICSE) im Jahr 2021 angenommen.
- Kaedon
Bei ~21.700 $ Ersparnis pro Million Tickets würde eine jährliche Einsparung von Millionen mindestens 92 Millionen Tickets pro Jahr bedeuten, um 2 Millionen $ einzusparen. Ist das ungefähr richtig?
Ich dachte zunächst bei Tickets nur an Kundensupport oder interne JIRAs, aber der Artikel erwähnt Alarme, Sicherheitsbefunde und Kapazitätserhöhungsanfragen, was die Größenordnung plausibler erscheinen lässt. Trotzdem überraschend, dass so viele Tickets durch das System gehen.
- nlpnerd
Hier der Gründer von Seldon AI (www.seldon-ai.com). Wir arbeiten an Entwickler-Tools, die Entwicklern bei dieser Art von Refactoring und kontinuierlicher Produktionsarbeit helfen.
Im Grunde gibt es heute eine ganze Reihe von Tarpit-Nutzungen von LLMs in Anwendungs-Backends. Dies ist einfach ein weiterer Fall, in dem LLMs es Menschen ermöglichen, Dinge zu bauen, die sie nicht in Produktion bringen oder warten können.
Heute können Entwickler ohne jegliche AI/ML-Kenntnisse mit LLMs ein schickes neues Feature prototypen, was früher das Sammeln und Aufbereiten von Daten erforderte, um eine Pipeline von ML-Modellen zu trainieren und sie dann in Produktion zu bringen.
Das Problem entsteht, wenn es Zeit ist, das neue Feature in Produktion zu nehmen. Die 20 $ Kosten mit Prototyp/Beta-Workload sind jetzt 30k $ pro Monat an LLM-Kosten, und die Halluzinationen, die bei ihren 200 Testsamples nie auftraten, passieren 600 Mal pro Tag.
Dann stecken sie fest, weil ihnen das Wissen und das Budget fehlen, um die Produktions-ML-Pipeline ordnungsgemäß zu bauen und zu betreiben, sowie der Infrastruktur-Stack, der notwendig ist, um Produktions-Workload zu bewältigen. Das Management versteht auch nicht, warum sie in den Wiederaufbau von etwas investieren müssen, das mit "veralteten Methoden" "zu funktionieren scheint".
Diese System-1- oder Entscheidungsmodelle sind für diese Nutzung eine Stufe über LLMs. Das Problem ist, dass sie für viele Anwendungslogik immer noch schwierig zu handhaben sind (begrenzte Ausdruckskraft). Trotz der anfänglichen Popularität höre ich von vielen Reibungen beim Refactoring von LLM-basierten Backends mit ihnen und von mehreren Fällen von Produktions-Rollbacks zu LLMs bereits.
Ich denke, System-1-Mod […]
- Gasp0de
Dieser Artikel ist so verwirrend. Zum Beispiel sagen sie, sie hätten das Strands-Decider-Modell ausprobiert und zugunsten von Gemma verworfen, und dann nennen sie das Modell, das sie verwendet haben, weiterhin Strands Decider? Habe ich etwas verpasst?
- docheinestages
Keine Erwähnung von Qualität, oder zumindest habe ich keine gesehen. Was heutzutage zu zählen scheint, sind Geschwindigkeit und Kosten.
- psnehanshu
Ok, aber warum haben sie sich überhaupt für Sonnet entschieden? Hätten sie nicht Haiku oder GPT Luna oder vielleicht sogar ein kleines, günstiges chinesisches Modell wählen können?
- origini
Warum haben sie also nicht einmal Haiku 5.5 ausprobiert?
Warum sollte Amazon zu einem anderen Unternehmen gehen, um ein angepasstes Decider-Modell bereitstellen zu lassen?
Amazon hat bereits alle diese Tickets gelabelt, sie hätten es einfach selbst bauen können?
- 3eb7988a1663
Klassifizierung in eine von 20 Gruppen? Hat jemand scikit learn ausprobiert?