DoorDash usa 'jurados' de LLM para etiquetar millones de platos con un 20% más de precisión
Building Food Metadata with LLM Juries

DoorDash ha construido una plataforma de metadatos alimentarios impulsada por IA para gestionar su catálogo de millones de platos, muy variables y en constante actualización. Entre sus innovaciones destaca un sistema de 'jurados' de LLM que evalúa etiquetas mediante consenso, logrando una precisión un 20% superior a la anotación humana típica. También emplean agentes de optimización de contexto que mejoran los prompts automáticamente, aumentando la precisión del modelo en más de un 20% y acelerando el desarrollo diez veces. La inferencia distribuida reduce el tiempo de retroceso de un mes a días, y la anotación dirigida por IA genera datos de entrenamiento sin esfuerzo humano, logrando calidad de LLM de frontera al 10% del coste.
Los casos de fallo transmiten más señal que los éxitos: descubrimos que ponderar más los fallos funcionaba mejor para nuestro caso de uso.