Stop Evaluating Models Like It's the 50s - Alejandro Vidal, Mindmakers

핵심 요약

• 기존의 AI 모델 평가는 '고전적 검사 이론'에 기반하여 단순히 정답의 개수를 세는 방식이지만, 이는 각 질문의 중요도를 동일하게 취급하는 한계가 있습니다.
• 문항반응이론(IRT)을 도입하여 각 문항(질문)의 난이도(B)와 변별도(A)를 추정하고, 이를 통해 모델의 지능 수준(theta)을 더 정확하게 측정합니다. IRT는 SAT, GRE 등에서 사용되는 통계적 기법입니다.
• IRT를 통해 벤치마크에서 노이즈가 많거나 잘못 레이블링된 문항을 식별하고 제거하거나 개선하여 벤치마크를 최적화할 수 있습니다. 이는 평가 효율성을 높이고 비용을 절감하는 데 도움이 됩니다.