Mind the Gap (In your Agent Observability) — Amy Boyd & Nitya Narasimhan, Microsoft
본 영상은 Microsoft Foundry의 에이전트 관측 가능성(observability) 스택을 소개하며, 에이전트의 품질, 안전성, 성능 저하를 탐지하고 개선하는 방법을 시연합니다. 특히, OpenTelemetry 기반의 트레이싱, 내장 평가자, 그리고 코딩 에이전트를 활용한 'observe' 스킬을 통해 에이전트의 지속적인 최적화 루프를 자동화하는 방법을 보여줍니다.
핵심 요약
- 에이전트의 '마인드 더 갭' 현상은 요구사항과 실제 동작 간의 불일치로, 초기부터 라이프사이클 전반에 걸쳐 평가가 필요합니다.
- Foundry는 OpenTelemetry 기반의 트레이싱을 통해 에이전트의 내부 동작, 도구 호출, 메시지 등을 상세히 추적할 수 있게 지원합니다.
- 내장된 평가자(evaluators)는 품질, 위험 및 안전성, 그리고 에이전트 특화 지표(의도 해상도, 작업 준수 등)를 측정하며, 사용자 정의 평가자 생성도 가능합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입