Task Fidelity Scaling Laws — Kobie Crawdord, Snorkel

핵심 요약

• 에이전트 작업에서 데이터 품질은 모델 성능에 결정적인 영향을 미치며, 고품질 작업이 저품질 작업보다 5배 높은 훈련 성과를 달성합니다. (창작자 평가: 5x uplift difference)
• 고품질 작업(Accepted tasks)은 평균적으로 더 많은 도구 호출(twice as many tool calls), 더 낮은 성공률(lower pass rate), 더 많은 출력 토큰(more output tokens)을 요구하며, 이는 작업의 본질적인 복잡성과 추론 능력의 중요성을 시사합니다. (창작자 평가: demonstrating more difficulty, more steps needed)
• 저품질 작업(Rejected tasks)은 종종 모호한 명세, 테스트와의 불일치, 또는 필요한 컨텍스트 부족으로 인해 실패하며, 이러한 작업은 모델 학습에 노이즈를 발생시킵니다. (창작자 평가: Ambiguous specs do not produce harder tasks. They produce noise.)