Amazon sustituye Sonnet 4.6 por Strands Decider y recorta un 98% el coste de etiquetar tickets
Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
Dos ingenieros de Amazon cambiaron Claude Sonnet 4.6 por Strands Decider, un modelo de decisión lanzado un mes antes, en uno de los mayores sistemas internos de tickets del mundo. El nuevo modelo etiqueta los tickets en las mismas 20 categorías con la misma calidad, pero a un 98% menos de coste, lo que ahorrará millones de dólares anuales en tokens. El artículo explica cómo pasaron de un LLM con un prompt largo a un modelo de decisión especializado.
Sin embargo, dos ingenieros de Amazon cambiaron recientemente Sonnet 4.6 por Strands Decider, un modelo de decisión que lanzamos hace un mes y que rindió igual de bien con un 98% menos de coste.
- armcat
Hace unos seis años construimos un modelo y pipeline de clasificación/enrutamiento de tickets [1]. La versión inicial se entrenó usando SVMs, tardaba un par de minutos en entrenar, y la clasificación de tickets era de solo unos milisegundos. Es fascinante ver cómo el campo se pasó a los LLMs, y luego volvió otra vez a clasificadores más rápidos/baratos.
[1] "Linnaeus: A highly reusable and adaptable ML based log classification pipeline", https://arxiv.org/abs/2103.06927
NOTA: el trabajo fue aceptado en la International Conference on Software Engineering (ICSE) en 2021.
- Kaedon
A ~$21,700 ahorrados por millón de tickets, ahorrar millones anualmente sugeriría al menos 92 millones de tickets al año para llegar a $2 millones ahorrados. ¿Es más o menos así?
Al principio pensé en los tickets como solo soporte al cliente, o JIRAs internos, pero el artículo menciona alarmas, hallazgos de seguridad y solicitudes de aumento de capacidad, así que eso hace que la escala parezca más plausible. Aun así sorprende que tantos tickets pasen por el sistema.
- nlpnerd
Aquí el fundador de Seldon AI (www.seldon-ai.com). Estamos trabajando en herramientas de desarrollo para ayudar a los desarrolladores con este tipo de refactorización y trabajo continuo en producción.
Básicamente hoy en día hay toda una serie de usos trampa de los LLMs en los backends de aplicaciones. Este es simplemente otro caso de LLMs que permiten a la gente construir lo que no pueden llevar a producción ni mantener.
Hoy los desarrolladores sin ninguna habilidad en AI/ML pueden prototipar una nueva funcionalidad llamativa con LLMs, lo que antes requería recolectar y curar datos para entrenar un pipeline de modelos ML y luego servirlos en producción.
El problema llega cuando toca llevar la nueva funcionalidad a producción. Ese coste de $20 con carga de prototipo/beta ahora son $30k al mes en costes de LLM, y esas alucinaciones que nunca ocurrían en sus 200 muestras de prueba están ocurriendo 600 veces al día.
Entonces se quedan atascados, porque les falta el conocimiento y el presupuesto para construir y ejecutar correctamente el pipeline ML de producción, el stack de infraestructura necesario para manejar la carga de producción. La dirección tampoco entiende por qué tienen que invertir en reconstruir algo que "parece funcionar" con "métodos obsoletos".
Estos modelos de sistema uno o de decisión son un paso adelante respecto a los LLMs en este uso. El problema es que siguen siendo difíciles de manejar (limitados en poder de expresión) para mucha lógica de aplicación. A pesar de la popularidad inicial, oigo hablar de muchas fricciones al refactorizar backends basados en LLM con ellos, y ya hay múltiples casos de rollbacks en producción a LLMs.
Creo que los modelos de sistema uno mod […]
- Gasp0de
Este artículo es muy confuso. Por ejemplo, dicen que probaron el modelo Strands Decider y lo descartaron por Gemma, ¿y luego siguen llamando Strands Decider al modelo que usaron? ¿Me perdí algo?
- docheinestages
No se menciona la calidad, o al menos yo no lo vi. Lo que parece importar hoy en día son la velocidad y el coste.
- psnehanshu
Vale, pero ¿por qué eligieron Sonnet en primer lugar? ¿No podrían haber elegido Haiku o GPT Luna o quizás incluso algún modelo chino pequeño y barato?
- origini
Entonces, ¿por qué ni siquiera probaron Haiku 5.5?
¿Por qué iría Amazon a otra empresa para que les proporcione un modelo decider ajustado?
Amazon ya tiene todos estos tickets etiquetados, ¿no podrían haberlo construido ellos mismos?
- 3eb7988a1663
¿Clasificar en uno de 20 grupos? ¿Alguien probó scikit learn?