How Ramp Tests Its AI Bookkeeping Agent Before Customers Do - Ryan Stevens, Ramp
본 영상은 Ramp의 AI 북키핑 에이전트 'Stack'의 엔드 투 엔드 평가 구축 방법을 다룹니다. 영상에서는 실제 사용자를 대신하여 합성 기업 데이터를 생성하고, 이를 기반으로 에이전트의 정확성과 신뢰성을 평가하는 구체적인 방법론을 제시합니다. 특히, 스킬 제거와 궤적 증류 메모리 등의 실험을 통해 에이전트 성능을 향상시키는 실질적인 방안을 공유합니다.
핵심 요약
- 에이전트 구축 시 첫 번째 과제는 업무와 작업을 세분화하고 성공의 기준을 설정하는 것입니다. 이를 위해 경리 담당자들의 업무 프로세스를 상세히 이해하고, 조정, 데이터 입력, 차이 분석 등의 범주로 나누어 평가 항목을 설계했습니다.
- 사용자 데이터가 충분하지 않을 경우, 합성 데이터를 구축하는 것이 필수적입니다. 영상에서는 D2C 라이프스타일 기업과 같은 가상의 비즈니스를 설정하고, ERP, 고객 목록, 공급 업체 목록 등 필요한 모든 데이터를 생성하여 에이전트의 백테스팅에 활용했습니다.
- 평가는 단순히 라벨을 찾는 것이 아니라, 매일 같은 데이터셋을 사용하여 에이전트를 실행하고 최적화 방법을 찾는 '백테스트'의 일환입니다. 이를 통해 시간 경과에 따른 에이전트의 상태를 캡처하고 재현하는 것이 중요합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입