Your SKILL.md Is 70% Stuff the Model Already Knows - Nikolay Petrov, Intel
본 영상은 Nikolay Petrov(Intel)가 Claude Code의 'Skill'을 평가하고 최적화하는 방법을 제시합니다. Skill을 질문-답변 쌍으로 분해하고 모델의 이해도를 측정하여, 모델이 이미 아는 내용과 Skill이 새롭게 가르치는 내용을 구분함으로써 Skill의 효율성을 높이는 방법을 설명합니다.
핵심 요약
- Skill은 모델에 새로운 지식이나 능력을 부여하거나, 반복 가능한 행동 흐름을 정의하는 데 사용될 수 있습니다.
- Skill의 효과를 평가하기 위해, Skill이 없는 상태와 있는 상태에서 모델의 성능을 비교합니다. 성능 평가는 해결된 문제 수, 토큰 사용량, 실행 시간 등을 포함할 수 있습니다.
- Skill을 평가하는 한 가지 방법은 Skill을 여러 개의 질문-답변 쌍(item)으로 분해하는 것입니다. 각 item에 대해 Skill이 없을 때와 있을 때 모델의 답변을 비교합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입