Building Closed-Loop Evals for a Multimodal Agent at Scale — Soumya Gupta & Jai Chopra, Uber

핵심 요약

• Uber Eats는 소상공인의 음식 사진 품질 문제를 해결하기 위해 이미지 이해, 라우팅, 편집 에이전트를 활용하는 자동화 시스템을 구축했습니다. 이 시스템은 신뢰성, 품질 향상, 안전한 운영, 지속적인 학습, 비용 효율성을 목표로 합니다.
• 이미지 이해 및 라우팅 에이전트는 LLM을 사용하여 사진을 설명하고, 구조화된 출력을 기반으로 이미지 편집이 필요한지 여부를 결정합니다. 이 단계는 전통적인 분류 모델처럼 혼동 행렬을 사용하여 정밀도와 재현율을 측정합니다.
• 모델의 초기 버전은 사람 라벨러가 제공한 황금 소스 데이터셋에 맞춰 튜닝되며, 라우팅 에이전트의 경우 누락되는 잘못된 이미지가 없도록 재현율을 주요 가드레일 메트릭으로 설정합니다.