Los problemas no resueltos de MLOps: medir la calidad del modelo en producción sigue siendo un enigma
Unsolved Problems in MLOps
A pesar del éxito de la IA, implementar modelos de forma fiable sigue siendo un desafío. Este artículo de acmqueue examina los problemas no resueltos en MLOps, destacando que los sistemas clásicos son deterministas mientras que los de ML no lo son, y que los datos son tan importantes como el código. Se centra en la dificultad de medir la calidad del modelo en producción: los métodos tradicionales como la repetición de consultas o el canary testing no son suficientes, y a menudo se termina subcontratando el control de calidad a los usuarios. También explora la complejidad de revertir modelos defectuosos y la necesidad de nuevos paradigmas para garantizar la fiabilidad.
En el mundo de ML, la relación entre el binario de servicio, el modelo y los datos hace que la decisión sobre cómo y qué revertir sea decididamente difícil.