Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval
Upstart는 대출 검증 자동화를 위해 Voice AI를 활용하며, Claude Code와 Coval 플랫폼을 사용하여 규제 준수와 높은 정확도를 달성하는 방법을 공유합니다. 초기 33%였던 LLM 판사-인간 검토자 일치율을 92%까지 끌어올린 지속적인 개선 루프와 실전 팁을 제시합니다.
핵심 요약
- Upstart는 대출 신청자의 소득, 자금 사용 계획, 기타 의무 사항을 확인하는 검증 통화를 자동화했습니다. 이때 규제 준수를 위해 특정 질문에는 금액을 묻지 않거나, 사용 목적에 따라 추가 질문이 달라지는 등 복잡한 규칙을 처리해야 합니다.
- 초기에는 수천 건의 통화 감사를 위해 Google 스프레드시트를 사용했으나, 비효율성과 데이터 관리의 어려움으로 인해 Coval 플랫폼을 활용한 구조화된 인간 검토 프로세스를 도입했습니다.
- LLM을 '판사'로 활용하여 통화의 규정 준수 여부를 자동으로 평가하고, 인간 검토자가 LLM의 평가 결과와 인간의 판단이 얼마나 일치하는지를 추적했습니다. 초기 일치율은 33%에 불과했습니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입