DoorDash 用 LLM 陪审团重构美食元数据

Building Food Metadata with LLM Juries

在 DoorDash 的庞大生态中，数百万道菜品描述千差万别，传统人工标注早已难以为继。我们构建了一套由 AI 主导的元数据平台，利用 LLM 陪审团系统替代人工审核，将标注准确率提升了 20%。通过引入受强化学习启发的上下文优化代理，我们将提示词开发速度提升了 10 倍，精准度大幅提高。更令人兴奋的是，我们利用 AI 自动生成训练数据，在零人工标注的情况下实现了与前沿 LLM 相当的效果，且推理成本仅为 10%。这套系统不仅解决了海量数据处理的难题，更让 DoorDash 能够以极低的成本高效部署生成式 AI，彻底改变了美食搜索与个性化推荐的体验。

"我们发现的共识 LLM 标签比典型的人工标注标签准确率高出约 20%。"