Evaling Video Slop — Maor Bril, Character.ai

핵심 요약

• 현재 영상 생성 모델은 뛰어나지만, 생성된 영상의 품질을 평가하는 것은 여전히 어려운 과제로 남아있습니다. 기존의 CLIP 점수나 프레임 간 일관성 검사만으로는 영상이 전달하려는 스토리, 물리 법칙의 정확성, 오디오 싱크 등을 제대로 판단하기 어렵습니다.
• LLM을 평가자로 활용하는 시도가 있었으나, 속도가 느리고 프롬프트에 따라 결과가 달라지는 문제가 있었습니다. 또한, '분위기(vibe)'나 '광택(gloss)'을 실제 품질 축(axis)으로 오해하여 잘못된 평가를 내리는 경향이 나타났습니다.
• 성공적인 접근 방식은 절대적인 점수 부여 대신, 두 영상을 비교하여 어떤 것이 더 나은 스토리를 전달하는지 판단하는 '쌍대 선호도(pairwise preference)' 학습입니다. 이를 위해 실제 영상과 의도적으로 품질을 저하시킨 영상을 쌍으로 구성하여 모델을 훈련시켰습니다.