Your Spec Has Bugs. Catch Them Before Your Agent Codes. - Rajath Mahendrappa Kotyal, AWS
이 영상은 코딩 에이전트에게 전달하기 전, LLM의 모호하거나 충돌하는 지시사항을 감지하고 수정하기 위한 'Keto Specification Analyzer' 프로젝트를 소개합니다. SMT 솔버를 활용하여 명시적인 규칙을 형식화하고, LLM의 번역본을 비교 분석하여 사용자에게 모호한 부분을 명확히 하도록 안내합니다.
핵심 요약
- 명확하지 않은 프롬프트로 인한 LLM 정확도 저하가 20~40%에 달하며, 생성된 코드의 60~90%가 잘못되었고, 이는 2배의 회귀율 증가로 이어질 수 있습니다.
- Keto Specification Analyzer는 LLM이 먼저 명세서를 정리하도록 시도하며, 실패 시 SMT(Satisfiability Modulo Theories) 라이브러리를 사용하여 영어 명세를 SMT 공식으로 변환합니다.
- SMT 솔버는 명세서의 모호성이나 모순을 감지하고, LLM에게 해당 문장을 다시 검토하도록 요청하여 반복적으로 개선합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입