Amazon заменил Sonnet 4.6 на Strands Decider и сократил расходы на 98%
Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
Два инженера Amazon перевели одну из крупнейших внутренних систем тикетов с Claude Sonnet 4.6 на Strands Decider — модель принятия решений, выпущенную месяц назад. Она справляется с разметкой по 20 категориям так же хорошо, но обходится на 98% дешевле. Экономия за год измеряется миллионами долларов.
Она показала себя не хуже — при затратах на 98% меньше.
- armcat
Около шести лет назад мы создали модель и пайплайн для классификации и маршрутизации тикетов [1]. Первая версия обучалась с использованием SVM, обучение занимало пару минут, а классификация тикета — всего несколько миллисекунд. Так интересно наблюдать, как область перешла на LLM, а затем снова вернулась к более быстрым и дешёвым классификаторам.
[1] "Linnaeus: A highly reusable and adaptable ML based log classification pipeline", https://arxiv.org/abs/2103.06927
ПРИМЕЧАНИЕ: работа на самом деле была принята на International Conference on Software Engineering (ICSE) в 2021 году.
- Kaedon
При экономии ~$21 700 на миллион тикетов, экономия миллионов ежегодно предполагает как минимум 92 миллиона тикетов в год, чтобы достичь $2 миллионов экономии. Примерно так?
Сначала я думал о тикетах только как о поддержке клиентов или внутренних JIRA, но в статье упоминаются оповещения, результаты проверок безопасности и запросы на увеличение мощности, так что масштаб кажется более правдоподобным. Всё равно удивительно, что через систему проходит столько тикетов.
- nlpnerd
Здесь основатель Seldon AI (www.seldon-ai.com). Мы работаем над инструментами для разработчиков, чтобы помочь им с такого рода рефакторингом и постоянной работой в продакшене.
По сути, сегодня существует целая куча злоупотреблений LLM в бэкендах приложений. Это просто ещё один случай, когда LLM позволяют людям создавать то, что они не могут вывести в продакшен или поддерживать.
Сегодня разработчики без каких-либо навыков в AI/ML могут создать прототип навороченной новой функции с помощью LLM, тогда как раньше для этого требовалось собирать и курировать данные, обучать пайплайн ML-моделей, а затем обслуживать их в продакшене.
Проблема возникает, когда приходит время выводить новую функцию в продакшен. Эти $20 затрат на прототип/бета-нагрузку теперь составляют $30k в месяц на расходы LLM, а те галлюцинации, которых никогда не было на их 200 тестовых образцах, случаются 600 раз в день.
И тут они застревают, потому что им не хватает знаний и бюджета, чтобы правильно построить и запустить продакшен ML-пайплайн, инфраструктурный стек, необходимый для обработки продакшен-нагрузки. Руководство также не понимает, почему они должны инвестировать в перестройку чего-то, что «вроде бы работает» «устаревшими методами».
Эти модели system one или decision models — шаг вперёд по сравнению с LLM, когда дело доходит до такого использования. Проблема в том, что с ними всё ещё трудно работать (ограниченная выразительная мощность) для многих прикладных задач логики. Несмотря на начальную популярность, я слышу о множестве трений при рефакторинге бэкенда на основе LLM с их помощью, и о нескольких случаях отката в продакшене обратно к LLM.
Я думаю, что system one mod […]
- Gasp0de
Эта статья такая запутанная. Например, они говорят, что попробовали модель Strands Decider и отвергли её в пользу Gemma, а затем продолжают называть использованную модель Strands Decider? Я что-то упустил?
- docheinestages
Ни слова о качестве, или, по крайней мере, я не увидел. Сейчас, похоже, важны только скорость и стоимость.
- psnehanshu
Хорошо, но почему они вообще выбрали Sonnet? Разве они не могли выбрать Haiku или GPT Luna или, может быть, даже какую-нибудь маленькую дешёвую китайскую модель?
- origini
Так почему они даже не попробовали Haiku 5.5?
Зачем Amazon идти к другой компании, чтобы та предоставила им скорректированную модель decider?
У Amazon уже есть все эти размеченные тикеты, они могли бы просто построить её сами?
- 3eb7988a1663
Классификация в одну из 20 групп? Кто-нибудь пробовал scikit learn?