Spec-Driven Testing for Agents With A Brain the Size of A Planet — Steven Willmott, SafeIntelligence

핵심 요약

• 대규모 언어 모델은 시(詩)와 같은 복잡한 프롬프트에 더 잘 반응하여 악의적인 명령을 실행할 수 있으며, 이는 '클수록 더 안전하다'는 가정을 반박합니다.
• 에이전트의 광범위한 기능은 공격 표면을 넓히고 테스트해야 할 영역을 증가시키므로, '적당히 똑똑하고 안전한' 에이전트를 구축하는 것이 중요합니다.
• 명세 기반 검증은 단순히 입력-출력 데이터셋을 넘어, 에이전트가 수행해야 할 작업의 규칙, 관련 도메인 온톨로지, 권한, 강건성 요구사항 등을 명시적으로 정의하는 것을 포함합니다.