Medic for Apache Spark - First Aid for Failing Jobs - Drasko Profirovic, Pinterest
Pinterest는 Apache Spark 작업 실패를 진단하는 'Medic'라는 에이전트 기반 도구를 개발했습니다. 이 도구는 로그 분석, 패턴 인식, 근본 원인 추론, 수정 제안 기능을 통합하여 기존 대시보드 및 플레이북의 한계를 극복하고 문제 해결 시간을 몇 시간에서 몇 분으로 단축합니다. 이 발표에서는 도구의 설계 목표, 아키텍처, 로그 및 메트릭 처리 개선, 멀티 에이전트 시스템으로의 진화, 그리고 향후 계획에 대해 다룹니다.
핵심 요약
- Spark 작업 실패 진단 에이전트 'Medic'는 기존 방식의 한계를 극복하고 문제 해결 시간을 단축하는 것을 목표로 합니다.
- 초기 프로토타입은 MCP(Model Context Protocol)를 통해 데이터 리소스에 연결하고 단일 프롬프트 기반의 React 에이전트를 사용했으나, 프롬프트 튜닝의 비지속성, 응답 품질의 불일치, 컨텍스트 창 문제 등의 단점이 있었습니다.
- Observability를 강화하기 위해 OpenTelemetry를 LangFuse로 전송하고, 수동 테스트의 한계를 극복하기 위해 프로덕션 상태 스냅샷을 활용하는 엔드투엔드 테스트 하네스를 구축했습니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입