Your Old Prompts Are Making Claude Worse - Lance Martin, Anthropic
Anthropic의 Lance Martin은 프롬프트 감사, 프롬프트 캐시 활용, 평가 설계, 힐 클라이밍 기법을 통해 Claude 모델의 성능을 향상시키고 비용을 절감하는 방법을 공유합니다. 또한, 장기간 실행되는 에이전트의 안정성과 보안을 강화하는 Claude Managed Agents의 원리를 소개합니다.
핵심 요약
- 프롬프트에 축적된 오래된 패턴(예: 'think step by step')은 제거해야 하며, 이는 비용 증가와 성능 저하를 유발할 수 있습니다. Claude Code의 'checkup prompt audit' 또는 'Claude API prompt audit' 스킬을 사용해 이를 자동으로 해결할 수 있습니다. (창작자 평가: "이 간단한 명령은 종종 토큰 사용량을 줄여 비용을 절감하고, 모순된 프롬프트와 같은 경우 프론티어 모델을 혼란스럽게 했던 문제를 해결하여 성능을 향상시킬 수 있습니다.")
- 프롬프트 캐시는 기본 토큰보다 훨씬 저렴하고 빨라 멀티턴 애플리케이션에서 중요합니다. Claude Console 또는 Claude Code의 진단 기능을 통해 프롬프트 캐시 적중률을 추적하고 최적화하는 것이 비용 절감에 필수적입니다. (창작자 평가: "프롬프트 캐시 최적화는 성능 변화 없이 사실상 무료 비용 절감 효과를 제공합니다.")
- Claude 모델은 잘 구조화된 평가에서 자율적으로 성능을 개선하는 힐 클라이밍 능력이 뛰어납니다. 'Claude API build eval' 스킬을 사용하여 헤드룸이 있고, 변동성이 낮으며, 모델 크기에 따라 성능이 잘 확장되는 평가를 설계해야 합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입